Máy chủ AI NVIDIA HGX: chọn H200, B200 hay B300
Hạ tầng AI • Máy chủ GPU • So sánh
Máy chủ AI NVIDIA dùng bo mạch HGX 8 GPU là lựa chọn phổ biến khi doanh nghiệp cần huấn luyện, fine-tune hoặc phục vụ mô hình ngôn ngữ lớn tại chỗ. Ba thế hệ đang được chào bán song song là HGX H200, HGX B200 và HGX B300. Bài viết so sánh thông số chính theo trang chính thức của NVIDIA, giải thích khác biệt nào thực sự ảnh hưởng tới bài toán của Anh/Chị, và gợi ý dòng máy chủ Supermicro tương ứng cho từng thế hệ.
1. Máy chủ AI NVIDIA HGX là gì
NVIDIA HGX là bo mạch GPU chuẩn do NVIDIA thiết kế, gồm 8 GPU dạng SXM nối với nhau qua NVLink và NVLink Switch. Các hãng máy chủ như Supermicro tích hợp bo mạch này với CPU, bộ nhớ, ổ NVMe, card mạng và hệ thống làm mát để tạo thành máy chủ AI hoàn chỉnh. Khác với máy chủ GPU PCIe, nơi các GPU trao đổi dữ liệu qua bus PCIe, trên HGX mọi GPU nói chuyện trực tiếp với nhau ở băng thông NVLink, nên cả 8 GPU có thể hoạt động như một khối bộ nhớ lớn cho một mô hình (Hình 1).
Nếu Anh/Chị mới bắt đầu tìm hiểu, bài máy chủ GPU là gì và khi nào doanh nghiệp cần giải thích sự khác nhau giữa máy chủ GPU PCIe và HGX. Với tải suy luận vừa phải, máy PCIe thường đủ; HGX phù hợp khi mô hình lớn hơn bộ nhớ của vài GPU, khi cần huấn luyện hoặc khi lưu lượng suy luận rất cao.
2. So sánh thông số máy chủ AI NVIDIA HGX H200, B200 và B300
Bảng dưới tổng hợp thông số chính từ trang NVIDIA. Lưu ý trang HGX hiện chỉ còn B200 và B300; số của H200 lấy từ trang H200 và là số trên một GPU, phần tổng 8 GPU do CSC tự nhân và ghi rõ.
| Thông số | HGX H200 | HGX B200 | HGX B300 |
|---|---|---|---|
| Kiến trúc GPU | Hopper (máy chủ GPU H200 SXM) | Blackwell | Blackwell Ultra |
| Bộ nhớ mỗi GPU | 141 GB HBM3E | 180 GB HBM3E (1.440 GB ÷ 8, theo DGX B200) | 288 GB HBM3E |
| Tổng bộ nhớ 8 GPU | 1.128 GB (CSC tính: 8 × 141 GB) | 1,4 TB | 2,1 TB |
| Băng thông bộ nhớ mỗi GPU | 4,8 TB/s | 8 TB/s (64 TB/s ÷ 8, theo DGX B200) | 8 TB/s (theo blog kỹ thuật NVIDIA) |
| NVLink mỗi GPU | 900 GB/s | 1,8 TB/s (NVLink thế hệ 5) | 1,8 TB/s (NVLink thế hệ 5) |
| FP4 Tensor (8 GPU) | Không hỗ trợ FP4 | 72 PFLOPS dense / 144 PFLOPS sparse | 108 PFLOPS dense / 144 PFLOPS sparse |
| FP8 Tensor | 3.958 TFLOPS mỗi GPU (sparse) | 72 PFLOPS (8 GPU, sparse) | 72 PFLOPS (8 GPU, sparse) |
| FP64 / FP64 Tensor | 34 / 67 TFLOPS mỗi GPU | 296 TFLOPS (8 GPU) | 10 TFLOPS (8 GPU) |
| Mạng tham chiếu | Theo cấu hình máy chủ | 0,8 TB/s; DGX B200 dùng ConnectX-7 400 Gb/s | 1,6 TB/s; DGX B300 dùng ConnectX-8 800 Gb/s |
Ghi chú: NVIDIA công bố tổng bộ nhớ HGX/DGX B300 là 2,1 TB; trang model Supermicro ghi 2,3 TB (8 × 288 GB). Chênh lệch nhiều khả năng do cách quy đổi đơn vị; bài dùng 2,1 TB theo NVIDIA cho các phép tính.
Ba khác biệt đáng chú ý nhất (Hình 2):
- Dung lượng bộ nhớ. Từ 141 GB lên 288 GB mỗi GPU, tổng bộ nhớ một máy HGX B300 gần gấp đôi H200. Đây là yếu tố quyết định mô hình nào chạy được trong một máy và còn bao nhiêu chỗ cho KV cache khi phục vụ nhiều người dùng.
- FP4. Blackwell hỗ trợ định dạng FP4 (NVFP4) mà Hopper không có. Theo bảng của NVIDIA, FP4 dense của B300 là 108 PFLOPS so với 72 PFLOPS của B200 (khoảng 1,5 lần), và hiệu năng attention gấp 2 lần B200, hai điểm có lợi cho suy luận mô hình suy luận nhiều bước (reasoning).
- FP64 và INT8 trên B300. Trang NVIDIA ghi HGX B300 chỉ còn 10 TFLOPS FP64 và 3 POPS INT8, thấp hơn nhiều so với B200. Doanh nghiệp có tải mô phỏng khoa học, HPC cần FP64 nên cân nhắc B200 hoặc H200.
3. Chọn máy chủ AI NVIDIA theo bài toán
Không có thế hệ nào tốt nhất cho mọi doanh nghiệp. Cách chọn hợp lý là xuất phát từ tải và mô hình, rồi mới tới thế hệ GPU (Hình 3).
Hopper, hệ sinh thái chín muồi
Phù hợp khi mô hình dùng FP8 hoặc BF16 và vừa trong khoảng 1,1 TB bộ nhớ, khi có tải HPC cần FP64, hoặc khi muốn đồng bộ với cụm Hopper sẵn có.
Blackwell, cân bằng
Phù hợp cho cả huấn luyện và suy luận, muốn tận dụng FP4, NVLink 1,8 TB/s, và vẫn cần năng lực FP64 cho tải khoa học.
Blackwell Ultra, bộ nhớ lớn
Phù hợp cho mô hình rất lớn, ngữ cảnh dài, mô hình reasoning và AI agent phục vụ nhiều người dùng đồng thời, nơi bộ nhớ và hiệu năng attention là nút thắt.
Khi một máy không đủ, có thể ghép nhiều máy chủ GPU qua mạng tốc độ cao, như trình bày trong bài ghép nhiều máy chủ GPU để chạy mô hình lớn hơn VRAM. Tuy vậy, giữ mô hình trong một máy HGX thường đơn giản hơn về vận hành và tránh độ trễ mạng giữa các máy.
4. Ước tính bộ nhớ GPU trước khi chọn thế hệ
Bước nhanh nhất để thu hẹp lựa chọn là ước tính bộ nhớ cần cho trọng số mô hình và KV cache. Cách tính chi tiết theo từng mô hình có trong bài chọn máy chủ GPU theo VRAM cho suy luận GenAI; dưới đây là phép ước lượng thô.
Số byte: BF16 = 2 · FP8 = 1 · FP4 = 0,5
Ví dụ minh họa (giả định): mô hình 671 tỷ tham số ở FP8 → trọng số khoảng 671 GB
H200 (1.128 GB): còn khoảng 450 GB cho KV cache và dư địa
B300 (2,1 TB): còn khoảng 1,4 TB, tức nhiều phiên đồng thời hoặc ngữ cảnh dài hơn
Phép tính cho thấy vì sao dung lượng bộ nhớ quan trọng với suy luận: cùng một mô hình, phần bộ nhớ dư càng lớn thì càng phục vụ được nhiều người dùng cùng lúc. Khi KV cache vượt bộ nhớ GPU, có thể chuyển một phần xuống bộ nhớ CPU hoặc NVMe như bài phân tầng lưu trữ KV cache mô tả. Với huấn luyện, cần cộng thêm gradient và trạng thái optimizer, thường gấp vài lần trọng số, nên cần sizing riêng.
5. Điện, làm mát và mạng cho máy chủ AI NVIDIA HGX
Thế hệ càng mới, công suất mỗi máy càng lớn. Theo trang Supermicro, máy HGX H200 SYS-821GE-TNHR dùng 6 bộ nguồn 3.000 W (4+2), máy HGX B200 SYS-A21GE-NBRT dùng 6 bộ nguồn 5.250 W (3+3), còn máy HGX B300 SYS-822GS-NB3RT dùng 6 bộ nguồn 6.600 W (3+3). Số bộ nguồn và công suất danh định không phải công suất tiêu thụ thực, nhưng cho thấy mức chuẩn bị điện mỗi rack phải tăng theo thế hệ.
Mỗi thế hệ đều có phiên bản làm mát lỏng trực tiếp (DLC) 4U, giúp đặt nhiều GPU hơn trên một rack. Theo thông cáo Supermicro tháng 12/2025, giải pháp DLC-2 cho HGX B300 thu được tới 98% nhiệt của hệ thống bằng nước ấm 45°C. Bài làm mát lỏng DLC cho máy chủ GPU Supermicro giúp Anh/Chị đánh giá phòng máy hiện có cần thay đổi gì.
Về mạng, HGX B300 đi cùng ConnectX-8 SuperNIC 800 Gb/s, gấp đôi mức 400 Gb/s của ConnectX-7 trên các hệ thống B200 tham chiếu. Khi ghép cụm, thường bố trí mỗi GPU một cổng mạng nối vào switch theo kiểu rail-optimized (Hình 4). Lựa chọn InfiniBand hay Ethernet được phân tích trong bài mạng cho cụm máy chủ GPU.
6. Máy chủ GPU Supermicro cho từng thế hệ HGX
Supermicro có máy chủ cho cả ba thế hệ, ở cả bản làm mát khí và làm mát lỏng. Bảng dưới liệt kê các model tiêu biểu theo trang supermicro.com; danh mục đầy đủ có tại trang máy chủ GPU Supermicro.
| Thế hệ | Làm mát khí | Làm mát lỏng (DLC) | CPU |
|---|---|---|---|
| HGX H200 | SYS-821GE-TNHR (8U); AS-8125GS-TNHR (8U) | SYS-421GE-TNHR2-LCC (4U, 4 nguồn 5.250 W) | Xeon thế hệ 4/5 hoặc EPYC 9004 |
| HGX B200 | SYS-A21GE-NBRT (10U); AS-A126GS-TNBR (10U) | SYS-422GS-NBRT-LCC (4U, 4 nguồn 6.600 W) | Xeon thế hệ 4/5, Xeon 6700 hoặc EPYC 9005/9004 |
| HGX B300 | SYS-822GS-NB3RT (8U, 8 cổng OSFP 800 GbE ConnectX-8) | SYS-422GS-NB3RT-LCC (4U, 8 cổng OSFP 800 Gb/s ConnectX-8) | Xeon 6700 P-core |
Một điểm cần cân nhắc là vòng đời sản phẩm. Trang HGX của NVIDIA đã giới thiệu thế hệ kế tiếp HGX Rubin NVL8, và Supermicro đã giao hàng rack Vera Rubin NVL72 từ tháng 9/2026. Điều này không làm các thế hệ hiện tại lỗi thời: máy HGX thường được khấu hao 3–5 năm, và lựa chọn nên dựa trên tải cần chạy trong giai đoạn đó, kết hợp với khung tính trong bài mua máy chủ GPU hay thuê GPU cloud.
7. Giải pháp tham chiếu: máy chủ AI NVIDIA HGX trên Supermicro cùng CSC
CSC Distribution là nhà phân phối giá trị gia tăng (VAD) trong các lĩnh vực AI, Cloud và Data. Với máy chủ HGX, CSC giúp doanh nghiệp chọn thế hệ GPU theo tải, sizing bộ nhớ và mạng, đánh giá phòng máy và triển khai nền tảng phần mềm.
8. Câu hỏi thường gặp về máy chủ AI NVIDIA HGX
HGX H200, B200 và B300 khác nhau chủ yếu ở điểm nào?
Theo NVIDIA, bộ nhớ mỗi GPU tăng từ 141 GB (H200) lên 180 GB (B200) và 288 GB (B300); NVLink tăng từ 900 GB/s lên 1,8 TB/s mỗi GPU ở thế hệ Blackwell; Blackwell hỗ trợ FP4. B300 tăng FP4 dense và attention so với B200 nhưng giảm mạnh FP64 và INT8.
Máy chủ AI NVIDIA nào phù hợp cho suy luận mô hình lớn?
Nếu mô hình cộng KV cache vượt khoảng 1,4 TB hoặc cần phục vụ rất nhiều phiên đồng thời với ngữ cảnh dài, HGX B300 với 2,1 TB bộ nhớ là lựa chọn đáng xem xét. Mô hình nhỏ hơn có thể chạy tốt trên B200 hoặc H200; nên đo bằng PoC.
Doanh nghiệp có tải HPC nên chọn thế hệ nào?
Trang NVIDIA ghi HGX B300 chỉ có 10 TFLOPS FP64 cho 8 GPU, trong khi HGX B200 có 296 TFLOPS. Tải cần FP64 như mô phỏng khoa học nên cân nhắc B200 hoặc H200.
Máy chủ NVIDIA B300 cần chuẩn bị điện và làm mát thế nào?
Máy Supermicro SYS-822GS-NB3RT làm mát khí dùng 6 bộ nguồn 6.600 W (3+3); bản 4U làm mát lỏng SYS-422GS-NB3RT-LCC dùng 4 bộ nguồn 6.600 W (2+2) và cần hạ tầng nước làm mát. Cần khảo sát công suất rack và phòng máy trước khi đặt hàng.
CSC hỗ trợ gì khi đầu tư máy chủ AI NVIDIA HGX?
CSC tư vấn chọn thế hệ, sizing bộ nhớ và mạng, khảo sát phòng máy, cung cấp máy chủ Supermicro, tổ chức PoC, triển khai nền tảng AI và hỗ trợ sau bán hàng.
Đọc thêm về máy chủ AI
