Làm mát lỏng DLC cho máy chủ GPU Supermicro: khi nào cần

1. Vì sao điện và làm mát là nút thắt của phòng máy AI

Khi chọn máy chủ GPU Supermicro cho suy luận GenAI, câu hỏi đầu tiên thường là VRAM. Câu hỏi thứ hai, hay bị để muộn, là phòng máy có cấp đủ điện và thải đủ nhiệt hay không. Gần như toàn bộ điện năng máy chủ tiêu thụ biến thành nhiệt, nên mỗi kW điện cấp vào rack là một kW nhiệt hệ thống làm mát phải mang đi (Hình 1).

Công suất của GPU tăng nhanh qua từng thế hệ. Theo NVIDIA, L40S tiêu thụ 350 W, RTX PRO 6000 Blackwell Server Edition tới 600 W, H200 SXM tới 700 W và mỗi GPU trong HGX B200 tới 1.000 W. Supermicro công bố GPU B300 trong hệ thống làm mát lỏng của hãng có TDP tới 1.100 W. Ở cấp hệ thống, NVIDIA ghi DGX H100/H200 tối đa khoảng 10,2 kW, DGX B200 khoảng 14,3 kW và DGX B300 khoảng 15 kW cho một máy 8 GPU.

Phép tính sơ bộ dưới đây cho thấy vì sao một phòng máy vốn thiết kế cho máy chủ ảo hóa có thể không đón được cụm GPU, dù còn dư chỗ trong rack.

Hướng dẫn trung tâm dữ liệu cho DGX B200 của NVIDIA nêu cách bố trí điển hình là 2 hệ thống mỗi rack, và chỉ đặt 4 hệ thống mỗi rack tại các trung tâm dữ liệu chuyên biệt. Với rack GB200 NVL72, trang sản phẩm Supermicro ghi tổng công suất 132 kW và đi kèm CDU 250 kW trong rack. Ở các mức này, câu hỏi không còn là “có nên” mà là “làm mát bằng gì”.

2. Làm mát bằng khí hoạt động thế nào và giới hạn ở đâu

Phần lớn phòng máy doanh nghiệp hiện nay làm mát bằng khí: điều hòa chính xác (CRAC/CRAH) thổi khí lạnh vào lối lạnh, quạt máy chủ hút khí qua linh kiện và đẩy ra lối nóng, khí nóng quay về điều hòa (Hình 2). ASHRAE khuyến nghị nhiệt độ khí cấp vào thiết bị trong khoảng 18–27°C. Với DGX B200, hướng dẫn của NVIDIA nêu khí cấp nên theo ASHRAE Class A1, tối đa 30°C.

Làm mát bằng khí vẫn phù hợp với máy chủ GPU PCIe và với hệ thống HGX ở mật độ vừa phải. Giới hạn xuất hiện ở ba chỗ:

• Khối lượng khí: rack càng nhiều kW thì càng phải đẩy nhiều khí lạnh qua, kéo theo điều hòa, quạt và độ ồn tăng. Máy chủ HGX B200 làm mát khí của Supermicro (SYS-A21GE-NBRT) cao 10U và dùng 15 quạt 80 mm để tản nhiệt.
• Mật độ trên rack: theo datasheet SuperCluster HGX B200 của Supermicro, rack 48U làm mát khí chứa 4 máy 8U SYS-822GS-NBRT (32 GPU), rack làm mát lỏng chứa 8 máy 4U (64 GPU). Cụm 32 máy cần 9 rack nếu làm mát khí và 5 rack nếu làm mát lỏng (Hình 5).
• Giải pháp bổ trợ có giới hạn: tài liệu best practices của NVIDIA cho DGX B200 lưu ý cửa sau trao đổi nhiệt (rear door heat exchanger) và in-row cooler thường không phù hợp với hệ thống này.

3. Làm mát lỏng trực tiếp (DLC) hoạt động thế nào

Với DLC, nhiệt được lấy ngay tại nguồn. Tấm lạnh (cold plate) gắn trực tiếp lên CPU, GPU, bộ nhớ, PCIe switch và bộ điều áp (VRM); chất lỏng chảy qua cold plate, mang nhiệt về bộ phân phối (CDM) dọc rack rồi về CDU (Coolant Distribution Unit). Trong CDU, nhiệt được trao sang vòng nước của tòa nhà và thải ra tháp giải nhiệt hoặc dry cooler (Hình 3).

Thế hệ DLC-2 của Supermicro (công bố 05/2025) có các thông số chính sau, theo thông cáo và trang giải pháp liquid cooling của hãng:

Khi tính hiệu quả đầu tư, nên dùng số đo thực tế của phòng máy (PUE, giá điện, giờ chạy) thay vì dùng thẳng các mức tối đa hãng công bố.

4. Khi nào máy chủ GPU Supermicro cần làm mát lỏng

Không có một ngưỡng duy nhất. Quyết định phụ thuộc loại GPU, số máy trên mỗi rack và khả năng của phòng máy. Cây quyết định ở Hình 4 tóm tắt cách CSC thường đi qua câu hỏi này cùng khách hàng.

Bốn tình huống thường gặp khi chọn máy chủ Supermicro cho AI:

1. Máy chủ GPU PCIe cho suy luận: 4–8 GPU L40S hoặc RTX PRO 6000 Server Edition, ví dụ Supermicro SYS-522GA-NRT. Riêng 8 GPU 600 W đã là 4,8 kW, nhưng 1–2 máy mỗi rack vẫn nằm trong khả năng làm mát khí của nhiều phòng máy.
2. Một đến vài máy HGX B200/B300: bản làm mát khí (8U–10U) dùng được nếu rack cấp được khoảng 30 kW; muốn đặt dày hơn thì chọn bản 4U làm mát lỏng.
3. Cụm vài chục máy HGX trở lên (xem mạng cho cụm máy chủ GPU): DLC giảm số rack, chiều dài cáp và điện cho điều hòa, nên xét ngay từ đầu.
4. Rack-scale như GB200 NVL72: tổng công suất 132 kW mỗi rack và CDU 250 kW trong rack theo trang sản phẩm Supermicro; đây là bài toán hạ tầng làm mát lỏng ngay từ thiết kế.

Một điểm hay bị bỏ qua: nguồn dự phòng N+N như 3+3 hay 2+2 nghĩa là mỗi máy cần hai đường điện độc lập A/B, và mỗi đường phải gánh được toàn bộ tải khi đường kia mất. Thiết kế PDU, aptomat và UPS phải tính theo điều này.

5. Chuẩn bị phòng máy trước khi đặt máy chủ GPU

Dù chọn làm mát khí hay DLC, nên rà soát các hạng mục sau trước khi ký mua thiết bị:

1. Điện: công suất còn lại của trạm, UPS, tủ phân phối; số đường A/B và loại ổ cắm PDU phù hợp nguồn của máy chủ.
2. Làm mát khí: công suất điều hòa còn dư, khả năng quây lối nóng hoặc lối lạnh, nhiệt độ khí cấp thực đo tại mặt trước rack.
3. Nước (nếu DLC): có vòng nước cơ sở không, nhiệt độ cấp theo nhóm ASHRAE W32–W45, đường ống tới rack, cảm biến rò rỉ; nếu chưa có thì cân nhắc L2A sidecar.
4. Kết cấu: tải trọng sàn cho rack đầy máy và CDU, kích thước cửa và lối đi để đưa rack tích hợp sẵn vào.
5. Vận hành: giám sát nhiệt độ, lưu lượng, rò rỉ cùng với giám sát GPU; Supermicro tích hợp quản lý thành phần làm mát lỏng trong SuperCloud Composer. Với cụm dùng chung, kết hợp nền tảng như Rafay để chia sẻ máy chủ GPU giúp tận dụng hết công suất đã đầu tư.