Hướng dẫn về thiết bị phân phối làm mát: Cách CDU hoạt động trong trung tâm dữ liệu

Thiết bị phân phối làm mát thực sự làm được những gì

Mỗi giá máy chủ làm mát bằng chất lỏng đều cần hai vòng nước không bao giờ trộn lẫn. Vòng lặp cơ sở mang nước hoặc hỗn hợp nước-glycol từ nhà máy làm lạnh, máy làm mát khô hoặc tháp giải nhiệt đến dãy giá đỡ. Vòng công nghệ, đôi khi được gọi là vòng thứ cấp, luân chuyển chất lỏng sạch hơn và được kiểm soát chặt chẽ trực tiếp thông qua các tấm lạnh gắn trên CPU, GPU và bộ nhớ. các bộ phận phân phối làm mát nằm giữa hai vòng này và thực hiện bốn công việc cùng một lúc.

Đầu tiên, nó trao đổi nhiệt từ vòng thứ cấp vào vòng cơ sở thông qua bộ trao đổi nhiệt dạng tấm mà không bao giờ để hai chất lỏng chạm vào nhau. Thứ hai, nó bơm chất lỏng thứ cấp qua các ống góp máy chủ ở tốc độ dòng chảy được kiểm soát, thường được đo bằng lít trên phút trên mỗi giá. Thứ ba, nó lọc các hạt ra khỏi vòng thứ cấp để bảo vệ các kênh hẹp bên trong các tấm lạnh, có thể nhỏ tới 0,3 mm. Thứ tư, nó giám sát và báo cáo nhiệt độ, áp suất, lưu lượng và trạng thái rò rỉ về hệ thống quản lý tòa nhà của trung tâm dữ liệu.

Do vòng lặp thứ cấp được bịt kín và có thể tích nhỏ so với vòng lặp cơ sở nên nó có thể chạy ở nhiệt độ chặt chẽ hơn, dễ dự đoán hơn so với nước thô của tòa nhà. Đó là lý do tại sao làm mát bằng tấm lạnh có thể hỗ trợ các con số công suất thiết kế nhiệt của chip mà hệ thống làm mát bằng không khí không thể đạt tới. Thay vào đó, một giá đỡ cần luồng không khí vài nghìn feet khối mỗi phút để duy trì trong nhiệt độ vận hành an toàn có thể được làm mát bằng chất lỏng tuần hoàn với lưu lượng vài chục lít mỗi phút. Đây là lý do chính giải thích tại sao làm mát bằng chất lỏng hiện được coi là công cụ phá trần thực tế cho mật độ máy gia tốc.

Điều đáng nói là CDU không phải là gì. Nó không phải là một máy làm lạnh, nó không tạo ra nhiệt độ lạnh từ con số không và nó không thay thế nhà máy cơ khí. Nó là một thiết bị chuyển giao và điều khiển nằm giữa nhà máy và giá đỡ, và nhiệm vụ của nó là đảm bảo chất lỏng chạm vào các con chip nằm trong một dải hẹp, ổn định bất kể vòng lặp cơ sở đang làm gì ở phía bên kia của bộ trao đổi nhiệt.

Lịch sử ngắn gọn về cách CDU tiếp cận Phòng dữ liệu

Các thiết bị phân phối làm mát không hoạt động ở các trung tâm dữ liệu thương mại. Thiết kế cốt lõi, một vòng thứ cấp kín được cách ly khỏi nguồn cấp nước của cơ sở thông qua bộ trao đổi nhiệt dạng tấm, bắt nguồn từ các phòng thí nghiệm điện toán hiệu suất cao và các ứng dụng làm mát quy trình công nghiệp từ nhiều thập kỷ trước, nơi thiết bị nhạy cảm cần nước sạch, được kiểm soát về mặt hóa học thay vì bất kỳ thứ gì thoát ra từ ống đứng nước lạnh của tòa nhà. Các trung tâm siêu máy tính đã sớm áp dụng phương pháp này vì bộ xử lý của họ chạy nóng hơn và dày đặc hơn bất kỳ thứ gì trong phòng máy chủ doanh nghiệp thông thường.

Khi điện toán dựa trên GPU chuyển từ lĩnh vực nghiên cứu sang cơ sở hạ tầng doanh nghiệp và đám mây phổ thông, nguyên tắc cách ly tương tự đã được đóng gói lại thành một danh mục sản phẩm nhắm đến các nhà khai thác trung tâm dữ liệu, những người trước đây chưa từng chạm vào vòng lặp lỏng. Những gì từng là một thiết bị trượt được thiết kế tùy chỉnh được chế tạo cho một lần lắp đặt siêu máy tính đã trở thành một sản phẩm được tiêu chuẩn hóa, có thể gắn trên giá hoặc đặt trên sàn với các mức công suất xác định, các ống góp plug-and-play và giám sát từ xa được tích hợp sẵn từ nhà máy. Sự tiêu chuẩn hóa đó là lý do chính khiến việc làm mát bằng chất lỏng trở nên khả thi ở quy mô thương mại thay vì vẫn là một công cụ đặc biệt cho các phòng thí nghiệm quốc gia.

So sánh các loại CDU trong hàng, trong giá và xe bên

Các thiết bị phân phối làm mát thường được bán ở ba dạng vật lý và sự lựa chọn sẽ ảnh hưởng đến mọi thứ, từ không gian sàn, hệ thống cáp cho đến kế hoạch dự phòng.

Các thiết bị trong giá rất hấp dẫn đối với việc trang bị thêm vì chúng yêu cầu diện tích vòng lặp thứ cấp nhỏ nhất và có thể được thêm vào một tủ duy nhất mà không cần chạm vào phần còn lại của hàng, nhưng chúng sẽ nhân lên số lượng máy bơm, bộ lọc và bộ trao đổi nhiệt cần được bảo dưỡng định kỳ trong toàn bộ hành lang. Các thiết bị xếp thẳng hàng chiếm vị trí trung gian mà nhiều nhà cung cấp dịch vụ colocation ưa thích vì một lỗi duy nhất của một thiết bị chỉ ảnh hưởng đến một số tủ chứ không ảnh hưởng đến toàn bộ nhóm và thiết bị thường có thể được kéo và bảo trì từ phía trước mà không ảnh hưởng đến các giá đỡ lân cận.

Xe sidecar và các thiết bị cấp phòng đang trở thành lựa chọn phổ biến hơn cho các cụm đào tạo AI mới vì việc bơm và trao đổi nhiệt tập trung giúp giảm số lượng bộ phận chuyển động trên mỗi giá và đơn giản hóa các vùng phát hiện rò rỉ, mặc dù nó yêu cầu chạy đường ống vòng thứ cấp lớn hơn và cân bằng áp suất cẩn thận hơn trên mạng phân phối dài hơn. Những người vận hành di chuyển đến các nhóm đào tạo có mật độ rất cao, thường ở khoảng 100 kW trở lên trên mỗi giá, có xu hướng thiên về định dạng này vì nó cho phép nhóm thiết kế cơ khí tập trung quyền truy cập bảo trì, phụ tùng thay thế và giám sát ở một nơi thay vì trải rộng trên hàng chục thiết bị cấp tủ.

Kiến trúc CDU lỏng-lỏng và CDU lỏng-không khí

Ngoài định dạng vật lý, CDU còn khác nhau về cách chúng loại bỏ nhiệt. CDU lỏng sang lỏng, là cấu hình phổ biến hơn trong các bản dựng mới, trao đổi nhiệt trực tiếp với nước làm lạnh của cơ sở hoặc vòng nước ngưng tụ thông qua bộ trao đổi nhiệt dạng tấm. Thay vào đó, CDU chuyển từ chất lỏng sang không khí loại bỏ nhiệt vào không khí trong phòng thông qua bộ tản nhiệt và cụm quạt, điều đó có nghĩa là nó hoàn toàn không yêu cầu kết nối nước của cơ sở.

Ưu điểm từ chất lỏng sang chất lỏng

Kiến trúc này mở rộng đến mật độ cao hơn nhiều vì nước mang theo nhiều nhiệt trên một đơn vị dòng chảy hơn không khí và nó tách hoàn toàn vòng thứ cấp khỏi điều kiện không khí trong phòng, giúp hiệu suất dễ dự đoán hơn nhiều. Đây là lựa chọn tiêu chuẩn cho bất kỳ cơ sở nào đã có sẵn nhà máy nước lạnh hoặc vòng làm mát khô ở dãy giá đỡ.

Ưu điểm của chất lỏng-không khí

Kiến trúc này rất hữu ích trong các tình huống trang bị thêm khi việc chạy đường ống nước lạnh mới đến một hàng là không thực tế hoặc ở các khu vực rìa nhỏ hơn không có vòng nước cơ sở nào cả. Sự cân bằng là các thiết bị chuyển hóa chất lỏng sang không khí vẫn phụ thuộc vào nhiệt độ không khí trong phòng để có khả năng thải nhiệt tối đa, do đó công suất và hiệu suất của chúng giảm đi phần nào trong phòng nóng và chúng thải thêm nhiệt trở lại phòng mà hệ thống điều hòa không khí của phòng sau đó phải loại bỏ.

Nơi bộ nguồn thủy lực DC phù hợp với vòng lặp

Một số sự nhầm lẫn mà người mua gặp phải là do trộn lẫn các bộ nguồn thủy lực được chế tạo cho máy móc công nghiệp với các gói bơm bên trong bộ phận phân phối làm mát. A Bộ nguồn thủy lực DC , trong ngữ cảnh làm mát, đề cập đến một cụm máy bơm-động cơ-hồ chứa nhỏ gọn chạy bằng dòng điện một chiều, phổ biến nhất là 24V hoặc 48V và thúc đẩy sự tuần hoàn chất lỏng cho các rãnh làm mát bằng chất lỏng được triển khai ở cạnh nhỏ hơn hoặc được triển khai ở cạnh trong đó gói bơm AC ba pha đầy đủ sẽ quá khổ hoặc không có sẵn.

Mô-đun máy bơm điều khiển bằng DC xuất hiện thường xuyên nhất trong ba trường hợp: tủ viễn thông biên chỉ có nhà máy điện DC tại chỗ, trung tâm dữ liệu dạng container hoặc mô-đun được xây dựng cho các địa điểm ở xa không có nguồn điện ba pha ổn định và các cụm bơm dự phòng dự phòng cần giữ chất lỏng tuần hoàn trong quá trình truyền tải điện xoay chiều tạm thời. Trong những trường hợp này, bộ nguồn thủy lực DC hoạt động như cơ bên trong CDU, di chuyển chất làm mát qua ống góp và tấm lạnh trong khi bảng điều khiển của CDU quản lý vị trí van, trộn vòng và các điểm đặt nhiệt độ.

Một CDU được thiết kế tốt được xây dựng dựa trên kiến ​​trúc máy bơm DC thường bao gồm một pin nhỏ hoặc bộ đệm siêu tụ điện để quá trình bơm không dừng lại ngay cả trong vài trăm mili giây. Cần có một công tắc chuyển tự động để di chuyển giữa các nguồn cấp điện, vì ngay cả một sự gián đoạn máy bơm ngắn cũng có thể tạo ra các điểm nóng cục bộ trên tấm làm lạnh GPU đã được tải đầy đủ. Đặc biệt, các nhà khai thác viễn thông từ lâu đã dựa vào các nhà máy 48V DC cho tất cả các thiết bị trong tủ và việc mở rộng cùng bus DC đó tới bơm làm mát sẽ tránh được nhu cầu về nguồn cấp AC riêng chỉ để chạy phần cứng làm mát.

Định cỡ một bộ nguồn thủy lực DC cho một tấm trượt làm mát

Việc định cỡ tuân theo nguyên tắc vật lý cơ bản giống như bất kỳ lựa chọn máy bơm nào: tốc độ dòng yêu cầu so với sự sụt giảm áp suất của hệ thống sẽ xác định công suất động cơ cần thiết, sau đó điện áp DC và dòng điện rút ra được lấy từ con số công suất đó. Một khung trượt làm mát cạnh nhỏ hỗ trợ một giá đỡ có thể chỉ cần một máy bơm DC có công suất dưới 150 watt, trong khi một thiết bị sidecar lớn hơn được chế tạo xung quanh xe buýt DC cho một nhóm đầy đủ có thể yêu cầu một dãy máy bơm và một bình chứa lớn hơn nhiều. Tại thời điểm đó, nhiều người vận hành sẽ đánh giá liệu kiến ​​trúc DC có còn hợp lý so với bơm xoay chiều ba pha tiêu chuẩn hay không.

Những cân nhắc về độ tin cậy cụ thể đối với mô-đun máy bơm DC

Do các bộ nguồn thủy lực DC thường được triển khai tại các địa điểm biên không có người điều khiển hoặc có ít nhân viên nên việc dự phòng và chẩn đoán từ xa thậm chí còn quan trọng hơn cả trong phòng dữ liệu có nhân viên. Hãy tìm kiếm các đầu bơm dự phòng kép dùng chung một bình chứa, tính năng giám sát dòng điện có thể cảnh báo ổ trục động cơ bị hỏng trước khi nó hỏng hoàn toàn và bộ điều khiển có thể báo cáo trạng thái qua giao diện tiêu chuẩn ngay cả khi cơ sở không có nhân viên CNTT tại chỗ để kiểm tra thực tế thiết bị.

Các thành phần cốt lõi bên trong CDU hiện đại

• Trao đổi nhiệt dạng tấm: truyền nhiệt giữa các vòng cơ sở và công nghệ mà không cần trộn chất lỏng, điển hình là các tấm thép không gỉ hoặc titan hàn.
• Máy bơm dự phòng: hầu như luôn được triển khai ở cấu hình N 1 nên một lỗi bơm không làm gián đoạn quá trình làm mát.
• Các bộ lọc hạt được đánh giá có khả năng bắt các mảnh vụn có kích thước từ 25 đến 50 micron trước khi chất lỏng đi tới các kênh tấm lạnh.
• Van điều chỉnh ba chiều pha trộn chất lỏng hồi lưu với chất lỏng cung cấp để đạt đến nhiệt độ vòng lặp công nghệ cố định bất kể sự dao động của nước trong cơ sở.
• Đồng hồ đo lưu lượng và cảm biến chênh lệch áp suất trên mỗi nhánh giá đỡ để phát hiện sớm tắc nghẽn.
• Cáp phát hiện rò rỉ hoặc cảm biến điểm được đặt ở điểm thấp nhất của vỏ và dưới các kết nối đa dạng.
• Một bể giãn nở hoặc bàng quang để hấp thụ sự giãn nở nhiệt của vòng thứ cấp kín.
• Bộ điều khiển có kết nối mạng, thường là Modbus TCP hoặc SNMP, để tích hợp với ngăn xếp giám sát của trung tâm dữ liệu.
• Van cách ly ở cả hai bên vòng lặp công nghệ và cơ sở để thiết bị có thể được bảo dưỡng hoặc thay thế mà không cần xả toàn bộ dãy.
• Bảng điều khiển giao diện người máy cục bộ, thường là màn hình cảm ứng nhỏ, để điều chỉnh điểm đặt tại chỗ và xem xét cảnh báo.

Mỗi thành phần này đóng một vai trò riêng biệt trong độ tin cậy tổng thể và việc bỏ qua bất kỳ thành phần nào trong số chúng để giảm chi phí có xu hướng xuất hiện sau này dưới dạng vấn đề về bảo trì hoặc thời gian ngừng hoạt động thay vì tiết kiệm trả trước. Đặc biệt, các van cách ly thường bị bỏ qua trong các thiết kế tiết kiệm chi phí và sự vắng mặt của chúng khiến việc hoán đổi máy bơm định kỳ trở thành một sự kiện đòi hỏi phải xả nước và đổ đầy lại toàn bộ vòng thứ cấp cho hàng.

Định cỡ chính xác một thiết bị phân phối làm mát

Giảm kích thước CDU là sai lầm phổ biến nhất và tốn kém nhất mà người vận hành mắc phải, bởi vì một đơn vị có vẻ phù hợp trên giấy ở mức tải thiết kế thường không thể xử lý được mức điện năng tăng vọt nhất thời mà các cụm GPU hiện đại tạo ra trong quá trình huấn luyện. Ba con số quan trọng nhất khi định cỡ.

Tổng tải nhiệt so với công suất định mức

Tăng công suất thiết kế tản nhiệt của mọi bộ phận làm mát bằng chất lỏng trong hàng, sau đó áp dụng mức an toàn ít nhất 20% cho các lần nâng cấp giá đỡ trong tương lai. Một thiết bị được xếp hạng ở mức tải chính xác của ngày hôm nay sẽ không còn khoảng trống khi khách hàng đổi sang thế hệ máy gia tốc có công suất cao hơn mười tám tháng sau và việc trang bị thêm CDU sau thực tế sẽ gây rối loạn hơn nhiều so với việc chỉ định mức ký quỹ bổ sung ngay từ đầu.

Nhiệt độ tiếp cận

Đây là chênh lệch nhiệt độ giữa nước của cơ sở đi vào bộ trao đổi nhiệt và nước vòng công nghệ rời khỏi nó. Nhiệt độ tiếp cận chặt chẽ hơn, thường là 2 đến 3 độ C trên các thiết bị được thiết kế tốt, có nghĩa là CDU có thể cung cấp nước mát hơn cho chip ngay cả khi nước của cơ sở ấm lên, điều này rất quan trọng ở những vùng khí hậu hoặc mùa mà máy làm mát khô không thể tạo ra nước rất lạnh. Ngược lại, nhiệt độ tiếp cận rộng hơn buộc nhà máy phải chạy lạnh hơn để bù lại, điều này làm tăng mức sử dụng năng lượng làm lạnh trên toàn bộ tòa nhà.

Tốc độ dòng chảy trên mỗi giá

Hầu hết các nhà sản xuất tấm lạnh đều chỉ định tốc độ dòng chảy cần thiết cho mỗi máy gia tốc, thường nằm trong khoảng từ 1 đến 3 lít mỗi phút cho mỗi GPU. Nhân số này với số lượng máy gia tốc trong giá đỡ, sau đó xác nhận đường cong bơm định mức của CDU có thể duy trì dòng chảy đó chống lại sự sụt giảm áp suất của toàn bộ ống góp, ống và các phụ kiện ngắt kết nối nhanh, vì chỉ riêng việc ngắt kết nối nhanh cũng có thể chiếm một phần đáng kể trong tổng tổn thất áp suất của hệ thống. Thông thường, các đội chỉ định kích thước máy bơm chỉ dựa vào sự sụt giảm áp suất của tấm lạnh mà quên cộng tổn thất ống góp và khớp nối, sau đó tổn thất này sẽ hiển thị ở mức lưu lượng thấp hơn dự kiến ​​sau khi hệ thống được xây dựng hoàn chỉnh.

Hành vi tải một phần

Một cụm hiếm khi chạy liên tục ở công suất định mức tối đa. Khoảng thời gian nhàn rỗi, khoảng trống lập kế hoạch công việc hàng loạt và khoảng thời gian bảo trì đều tạo ra điều kiện tải một phần và CDU với máy bơm tốc độ thay đổi có thể giảm tốc độ trong những khoảng thời gian này để tiết kiệm năng lượng thay vì chạy hết công suất bất kể tải nhiệt thực tế. Các thiết kế máy bơm tốc độ cố định lãng phí một lượng năng lượng có thể đo lường được so với các thiết kế tốc độ thay đổi một khi các mô hình sử dụng trong thế giới thực được tính đến.

Yêu cầu về hóa học và lọc chất lỏng

Chất lỏng vòng thứ cấp không chỉ đơn giản là nước máy. Hầu hết các nhà khai thác sử dụng nước khử ion với gói chất ức chế ăn mòn hoặc hỗn hợp propylene glycol khi cần bảo vệ chống đóng băng khi triển khai ngoài trời hoặc ở rìa. Chất lỏng không được xử lý hoặc lọc kém là nguyên nhân hàng đầu gây ra hỏng tấm lạnh sớm, do sự tích tụ cặn và sự phát triển sinh học làm giảm đường kính kênh bên trong theo thời gian và tăng khả năng chịu nhiệt giữa chip và chất làm mát.

Các nhà vận hành thường kiểm tra độ pH, độ dẫn điện và oxy hòa tan của chất lỏng vòng thứ cấp hàng quý. Nhiều nhà cung cấp CDU hiện đã tích hợp các cảm biến độ dẫn điện nội tuyến để gắn cờ khi chất lỏng cần thay thế trước khi nó làm giảm hiệu suất làm mát. Theo hướng dẫn do các nhà sản xuất thiết bị làm mát công bố và được xác nhận trong dữ liệu hiện trường được chia sẻ bởi các nhà khai thác dịch vụ colocation chạy các nhóm GPU dày đặc, một vòng lặp được bảo trì tốt với quá trình lọc liên tục có thể hoạt động từ ba đến năm năm giữa các lần thay thế chất lỏng đầy đủ.

Các loại chất lỏng phổ biến được sử dụng trong vòng thứ cấp

Thực tiễn tốt nhất về lọc

Phương pháp lọc theo lớp hoạt động tốt nhất trong thực tế: bộ lọc thô ở đầu vào CDU để lọc các mảnh vụn lớn, bộ lọc hạt mịn hơn có kích thước khoảng 25 đến 50 micron được đặt trước khi chất lỏng đến ống góp và vòng lọc bỏ qua liên tục đánh bóng dòng chất lỏng nhỏ bên cạnh ngay cả khi vòng lặp chính đang chạy. Cách tiếp cận theo lớp này ngăn chặn hầu hết sự ô nhiễm trước khi nó chạm tới tấm lạnh, nơi các kênh bên trong chặt chẽ khiến ngay cả các hạt nhỏ cũng có nguy cơ tắc nghẽn thực sự.

Các mô hình dự phòng để triển khai CDU

Dự phòng máy bơm bên trong một khung CDU duy nhất được xem xét riêng biệt với dự phòng cấp đơn vị trên một hàng và hầu hết các thông số kỹ thuật hiện yêu cầu cả máy bơm kép bên trong và dự phòng ít nhất N 1 đơn vị cho bất kỳ hoạt động triển khai nào hỗ trợ tính toán tạo doanh thu. Sự khác biệt quan trọng vì dự phòng máy bơm bên trong bảo vệ khỏi sự cố máy bơm trong khi CDU vẫn tiếp tục chạy, trong khi dự phòng cấp đơn vị bảo vệ chống lại sự cố của toàn bộ CDU, bao gồm bộ trao đổi nhiệt, bộ điều khiển hoặc bộ van.

Kiến trúc 2N, trong đó mỗi hàng có một CDU được sao chép hoàn toàn và một đường ống độc lập, là kiến ​​trúc có khả năng phục hồi cao nhất nhưng cũng làm tăng gần gấp đôi chi phí vốn cho lớp phân phối làm mát, do đó, kiến ​​trúc này có xu hướng được dành riêng cho các cơ sở mà ngay cả một gián đoạn làm mát ngắn cũng có thể gây ra tổn thất không thể chấp nhận được đối với công việc đào tạo hoặc khối lượng công việc sản xuất kéo dài.

Giám sát, kiểm soát và tích hợp với hệ thống quản lý tòa nhà

CDU hiện đại vừa là nguồn dữ liệu vừa là một thiết bị cơ khí. Mọi thiết bị đáng triển khai hiện nay sẽ báo cáo tốc độ dòng chảy, nhiệt độ cấp và hồi trên cả hai vòng, chênh lệch áp suất, tốc độ bơm và dòng điện rút ra, tình trạng bộ lọc và trạng thái rò rỉ trở lại nền tảng giám sát trung tâm. Dữ liệu đo từ xa này được đưa vào phần mềm quản lý cơ sở hạ tầng trung tâm dữ liệu của cơ sở, nơi người vận hành có thể liên hệ trực tiếp hiệu suất làm mát với tải CNTT.

Ngưỡng cảnh báo đáng để cấu hình

Ngoài các cảnh báo nhiệt độ cao và thấp đơn giản, các cơ sở vận hành tốt còn định cấu hình các cảnh báo tốc độ thay đổi để bắt kịp xu hướng chậm tiến tới một vấn đề trước khi vượt qua ngưỡng tuyệt đối. Ví dụ: tốc độ dòng chảy giảm dần trong vài tuần thường báo hiệu bộ lọc sắp đạt công suất từ ​​lâu trước khi nó kích hoạt cảnh báo dòng chảy thấp và nắm bắt xu hướng đó sớm sẽ tránh thay đổi bộ lọc ngoài kế hoạch trong thời gian tải cao.

Tích hợp với dữ liệu tải CNTT

Các cơ sở liên kết trực tiếp phép đo từ xa của CDU với dữ liệu tiêu thụ điện năng của máy chủ có thể xây dựng các mô hình dự đoán dự đoán nhu cầu làm mát trước khối lượng công việc đã lên lịch, thay vì chỉ phản ứng sau khi nhiệt độ tăng. Điều này đặc biệt có giá trị đối với các cụm đào tạo AI, nơi khả năng tiêu thụ điện năng có thể thay đổi đáng kể trong vòng vài giây khi công việc chuyển đổi giữa các giai đoạn nặng về tính toán và nặng về giao tiếp, đồng thời vòng điều khiển CDU có thể dự đoán những thay đổi này hoạt động tốt hơn đáng kể so với vòng lặp chỉ phản ứng với nhiệt độ sau thực tế.

Hiệu quả năng lượng và ảnh hưởng của nó đến tổng mức sử dụng năng lượng của cơ sở

Do làm mát bằng chất lỏng di chuyển nhiệt hiệu quả hơn không khí nên các cơ sở chuyển tải CNTT đáng kể sang giá đỡ do CDU phục vụ thường nhận thấy sự cải thiện có thể đo lường được về hiệu quả sử dụng năng lượng tổng thể của cơ sở, vì nhà máy cơ khí tiêu tốn ít năng lượng hơn để di chuyển không khí và tổng lượng điện năng tiêu thụ trực tiếp dành cho điện toán nhiều hơn. Các máy bơm tốc độ thay đổi bên trong CDU còn giảm thiểu việc sử dụng năng lượng ký sinh bằng cách chỉ bơm lưu lượng vừa đủ tải nhiệt hiện tại thực sự yêu cầu thay vì chạy tốc độ cố định bất kể tải.

Các cơ sở kết hợp CDU với bộ làm mát khô hoặc vòng làm mát miễn phí cũng có thể kéo dài số giờ mỗi năm mà không cần máy làm lạnh cơ học, vì khả năng kiểm soát nhiệt độ tiếp cận chặt chẽ của CDU cho phép làm mát hữu ích ngay cả từ nước ấm vừa phải của cơ sở. Theo các nghiên cứu điển hình được công bố bởi các nhà sản xuất thiết bị làm mát và các nhà nghiên cứu hiệu quả của trung tâm dữ liệu học thuật, những người vận hành ở những vùng có khí hậu mát mẻ hơn đã báo cáo việc kéo dài số giờ làm mát miễn phí một cách có ý nghĩa bằng cách kết hợp CDU ở nhiệt độ thấp với chiến lược kiểm soát máy làm mát khô được điều chỉnh tốt.

Các lỗi cài đặt và vận hành phổ biến

1. Bỏ qua bài kiểm tra áp suất nitơ trên vòng lặp thứ cấp trước khi đổ đầy chất làm mát vào vòng lặp, điều này giúp không phát hiện ra các rò rỉ nhỏ cho đến khi vòng lặp hoạt động.
2. Không xả kỹ đường ống mới, để lại các mảnh vụn trong quá trình sản xuất, sau này làm tắc nghẽn các kênh tấm lạnh.
3. Chỉ đặt cảm biến rò rỉ ở mức sàn và thiếu các điểm nhỏ giọt ở các kết nối ống góp trên cao.
4. Giảm kích thước bể mở rộng, khiến áp suất tăng vọt khi vòng lặp nóng lên khi tải điện toán ở mức tối đa.
5. Không xác nhận hiệu suất của đường cong bơm so với mức giảm áp suất được xây dựng, thay vì mức giảm theo thiết kế theo lý thuyết.
6. Kết nối các phụ kiện ngắt kết nối nhanh sai hướng, điều này có thể hạn chế dòng chảy hoặc ngăn chặn khả năng bịt kín khô thích hợp.
7. Bỏ qua các yêu cầu liên kết và nối đất trên đường ống kim loại, điều này có thể dẫn đến ăn mòn điện ở các mối nối kim loại khác nhau theo thời gian.
8. Không ghi lại lưu lượng cơ bản và chỉ số áp suất khi vận hành, điều này khiến việc chẩn đoán độ lệch hiệu suất dần dần sau này trở nên khó khăn hơn nhiều.

Lịch bảo trì liên tục để CDU khỏe mạnh

Khắc phục sự cố về hiệu suất CDU thường gặp

Tốc độ dòng chảy giảm theo thời gian

Tốc độ dòng chảy giảm dần hầu như luôn cho thấy bộ lọc sắp đạt đến công suất hoặc sự tích tụ cặn sớm ở đâu đó trong vòng lặp. Kiểm tra chênh lệch áp suất trên vỏ bộ lọc thường là cách nhanh nhất để xác nhận nguyên nhân trước khi lên lịch thay bộ lọc.

Nhiệt độ tiếp cận tăng

Nếu khoảng cách giữa nhiệt độ nguồn cung cấp của cơ sở và nhiệt độ nguồn cung cấp của vòng công nghệ tăng rộng hơn so với cách tiếp cận định mức của thiết bị thì các tấm trao đổi nhiệt có thể bị tắc nghẽn ở phía cơ sở hoặc công nghệ hoặc dòng chảy của cơ sở đến thiết bị đã giảm do van đóng một phần ở nơi khác trong hàng.

Báo động rò rỉ không liên tục

Báo động rò rỉ phiền toái thường xảy ra do sự ngưng tụ hình thành trên đường cung cấp lạnh trong phòng ẩm ướt chứ không phải do rò rỉ chất lỏng thực tế. Cách nhiệt đường ống lạnh lộ ra ngoài và xác nhận kiểm soát độ ẩm trong phòng thường giải quyết vấn đề này mà không cần phải mở vòng lặp.

Đạp xe bơm bất ngờ

Máy bơm bật và tắt nhanh thay vì chạy ổn định ở tốc độ được kiểm soát thường cho thấy bình giãn nở có kích thước nhỏ hoặc túi khí bị mắc kẹt trong vòng lặp đang khiến áp suất vượt quá dải điểm đặt của bộ điều khiển.

CDU và hệ thống làm mát chìm hoạt động cùng nhau

Bể làm mát ngâm, trong đó toàn bộ máy chủ chìm trong chất lỏng điện môi, vẫn cần một cách để loại bỏ nhiệt mà chất lỏng hấp thụ và bộ phận phân phối làm mát thường được sử dụng cho mục đích này. Trong cấu hình này, vòng thứ cấp của CDU tuần hoàn chất điện môi thông qua bộ trao đổi nhiệt được kết nối với bể thay vì qua các tấm lạnh, trong khi vòng sơ cấp vẫn kết nối với nguồn cấp nước của cơ sở giống như cách triển khai tấm lạnh.

Sự khác biệt chính về thiết kế là chất lỏng điện môi thường có độ dẫn nhiệt thấp hơn và độ nhớt cao hơn nước, do đó, máy bơm và bộ trao đổi nhiệt có kích thước dành cho vòng tấm lạnh gốc nước không tự động phù hợp với vòng ngâm và các nhà cung cấp thường cung cấp các dòng mô hình CDU riêng biệt được điều chỉnh riêng cho các đặc tính của chất lỏng điện môi.

Các yếu tố chi phí ngoài giá mua đơn vị

Giá dán nhãn của thiết bị phân phối làm mát chỉ là một phần trong tổng chi phí triển khai. Đường ống, ống góp, phụ kiện ngắt kết nối nhanh, vật liệu cách nhiệt, khay ngăn rò rỉ và nhân công vận hành thường xuyên chiếm một phần tương tự hoặc lớn hơn trong tổng chi tiêu, đặc biệt là trong các dự án trang bị thêm, nơi sàn nâng hoặc lối đi trên cao hiện tại không được thiết kế với đường ống chất lỏng. Các chi phí liên tục bao gồm thay thế chất lỏng, vật tư tiêu hao cho bộ lọc và điện mà máy bơm tự tiêu thụ, một phần nhỏ trong tổng công suất của cơ sở nhưng vẫn có giá trị trong ngân sách hoạt động dài hạn.

Các cơ sở lập kế hoạch xây dựng nhiều pha thường thấy việc lắp đặt một CDU sidecar lớn hơn có khoảng trống cho các giai đoạn trong tương lai sẽ tiết kiệm hơn so với việc lắp đặt tuần tự một số đơn vị nhỏ hơn, vì quy mô lao động đường ống và vận hành tùy theo số lượng sự kiện lắp đặt riêng biệt so với kích thước vật lý của một đơn vị.

Thị trường đang hướng tới đâu

Việc áp dụng làm mát bằng chất lỏng đã nhanh chóng chuyển từ một công cụ điện toán hiệu suất cao sang yêu cầu phổ biến đối với cơ sở hạ tầng suy luận và đào tạo AI, được thúc đẩy trực tiếp bởi các con số công suất thiết kế nhiệt của máy gia tốc hiện thường xuyên vượt quá 700 đến 1000 watt mỗi chip. Sự thay đổi này đã thúc đẩy các nhà cung cấp thiết bị phân phối làm mát hướng tới các thiết bị sidecar và cấp độ phòng lớn hơn, nhiệt độ tiếp cận chặt chẽ hơn và kiến ​​trúc máy bơm, bao gồm các mô-đun điều khiển DC, có thể tích hợp dễ dàng hơn với cơ sở hạ tầng nguồn và pin tại chỗ để hoạt động liên tục trong quá trình chuyển đổi nguồn điện.

Các cơ sở đã được tiêu chuẩn hóa về làm mát không khí gần đây như ba năm trước hiện đang trang bị thêm các phòng cơ khí đặc biệt để lưu trữ hàng CDU này đến hàng CDU khác và không gian sàn từng dành riêng cho bộ xử lý không khí trong phòng máy tính ngày càng được phân bổ cho cơ sở hạ tầng làm mát bằng chất lỏng. Các nhà cung cấp cũng đang hội tụ các giao diện đa dạng được tiêu chuẩn hóa hơn và ngắt kết nối nhanh hơn, giúp giảm bớt gánh nặng kỹ thuật tùy chỉnh mỗi khi thế hệ máy chủ mới được giới thiệu và giúp các nhà khai thác dễ dàng kết hợp phần cứng từ nhiều nhà sản xuất trong cùng một dãy làm mát bằng chất lỏng.