Mạng cho cụm máy chủ GPU: chọn InfiniBand hay Ethernet
Hạ tầng AI • Mạng cho cụm GPU • InfiniBand / Ethernet
Mạng cho cụm máy chủ GPU quyết định cụm chạy như một hệ thống thống nhất hay chỉ là nhiều máy GPU đặt cạnh nhau. Khi hạ tầng AI vượt quá một máy, câu hỏi không còn là “mua GPU nào” mà là “nối các GPU với nhau thế nào”. Bài viết giải thích bốn lớp mạng trong một cụm AI, khi nào cần mạng compute riêng, cách chọn giữa InfiniBand và Ethernet Spectrum-X, và cấu hình tham chiếu theo từng quy mô.
1. Vì sao mạng quyết định hiệu quả của cụm máy chủ GPU?
Trong một máy chủ HGX B200/B300, 8 GPU trao đổi dữ liệu qua NVLink và NVSwitch với băng thông tới 1,8 TB/s mỗi GPU. Khi bài toán vượt quá một máy, ví dụ huấn luyện, fine-tune trên nhiều node hay chia một mô hình lớn qua nhiều máy, dữ liệu phải đi qua card mạng và switch. Lúc đó mạng trở thành phần chậm nhất của hệ thống, GPU rơi vào trạng thái chờ và hiệu suất sử dụng giảm.
Khi thiết kế hạ tầng AI, cần phân biệt ba hướng lưu lượng (Hình 1):
Trong một máy
GPU nói chuyện với GPU qua NVLink / NVSwitch. Có sẵn trong máy HGX, hoặc qua NVLink bridge trên một số GPU PCIe như H200 NVL. Máy RTX PRO 6000 không có NVLink, GPU trao đổi qua PCIe.
Giữa các máy
GPU máy này trao đổi với GPU máy khác qua RDMA (InfiniBand hoặc RoCE). Đây là mạng compute, quyết định hiệu quả khi chạy phân tán (ví dụ phép all-reduce gộp gradient giữa các GPU).
Ra ngoài cụm
Đọc dữ liệu từ storage, nhận yêu cầu người dùng, quản trị. Đây là mạng converged (hội tụ storage, quản trị và người dùng), quyết định tốc độ nạp dữ liệu và checkpoint.
Phần lớn sai lầm khi mua hạ tầng AI đến từ việc gộp ba hướng này làm một, hoặc ngược lại, đầu tư mạng compute đắt tiền cho khối lượng công việc không cần đến nó.
2. Bốn lớp mạng cho cụm máy chủ GPU theo kiến trúc tham chiếu NVIDIA
Các kiến trúc tham chiếu doanh nghiệp (Enterprise Reference Architecture) của NVIDIA chia mạng cho cụm máy chủ GPU thành các lớp tách biệt về chức năng: ba mạng vật lý (compute, converged, OOB) và các phân đoạn logic storage, customer chạy trên mạng converged. Hình 2 và bảng dưới tóm tắt hai thiết kế tiêu biểu: RTX PRO AI Factory (máy PCIe 8× RTX PRO 6000) và HGX AI Factory (máy HGX B300).
| Lớp mạng | Vai trò | RTX PRO AI Factory | HGX B300 AI Factory |
|---|---|---|---|
| Compute (East–West) | RDMA giữa GPU các máy, thiết kế rail-optimized | 4× BlueField-3 B3140H SuperNIC, mỗi card 1 cổng 400GbE (1,6 Tb/s mỗi node) | 8× ConnectX-8 SuperNIC 800G, tách 2×400G sang hai plane (hai mạng compute độc lập song song), mỗi GPU 400 Gb/s vào mỗi plane |
| Converged (North–South) | Storage, quản trị in-band, truy cập người dùng | 1× BlueField-3 B3220 DPU, 2× 200GbE tới hai switch khác nhau | 1× BlueField-3 B3240 DPU, 2× 400GbE tới hai switch khác nhau |
| Storage và Customer | Đi trên mạng converged | Tối thiểu 12,5 Gb/s mỗi GPU cho storage, 25 Gb/s mỗi GPU cho người dùng | Tối thiểu 12,5 Gb/s mỗi GPU cho storage, 25 Gb/s mỗi GPU cho người dùng |
| Out-of-band (OOB) | BMC, quản trị switch, DPU | 1GbE RJ45, switch SN2201 | 1GbE RJ45, switch SN2201 |
Cả hai thiết kế đều dùng switch Spectrum-X Ethernet (SN5610 hoặc SN5600, 64 cổng 800GbE hoặc 128 cổng 400GbE, 51,2 Tb/s) cho cả lớp compute và converged, với topology spine-leaf fat tree không nghẽn (non-blocking). Đơn vị mở rộng (Scalable Unit, SU) là 4 node.
3. Hạ tầng inference có cần mạng compute riêng không?
Đây là câu hỏi ảnh hưởng lớn tới chi phí đầu tư hạ tầng inference. Trang Networking Physical Topologies trong tài liệu RTX PRO AI Factory của NVIDIA ghi rằng mạng compute không nhất thiết phải có cho khối lượng suy luận: nếu mỗi bản sao mô hình nằm gọn trong một máy, các máy phục vụ độc lập (data parallel) và hầu như không trao đổi dữ liệu GPU–GPU với nhau.
| Khối lượng công việc | Lưu lượng giữa các máy | Mạng compute riêng |
|---|---|---|
| Inference, mỗi mô hình vừa trong 1 máy (RAG nội bộ, chatbot, xử lý chứng từ) | Thấp, chủ yếu North–South | Thường chưa cần; mạng converged 100–200GbE là đủ |
| Inference mô hình rất lớn chia qua nhiều máy (tensor / pipeline parallel), hoặc tách prefill và decode sang máy khác nhau | Cao, nhạy độ trễ | Cần RDMA 400G trở lên |
| Fine-tune nhiều node | Cao theo chu kỳ (all-reduce gradient) | Cần |
| Huấn luyện quy mô lớn | Rất cao, liên tục | Bắt buộc, thường tách hai plane hoặc dùng InfiniBand |
Tuy nhiên, cũng tài liệu này lưu ý: bỏ mạng compute ngay từ đầu nghĩa là không chạy được các quy trình kết hợp như fine-tune mô hình, và bổ sung sau có thể phải dừng hệ thống và cấu hình lại đáng kể. Cách làm cân bằng thường là chừa sẵn khe PCIe, nguồn điện và cổng switch cho SuperNIC, kể cả khi giai đoạn đầu chỉ chạy inference.
4. So sánh InfiniBand và Ethernet Spectrum-X cho mạng cụm GPU
Với mạng cho cụm máy chủ GPU, cả hai đều là mạng RDMA hiệu năng cao do NVIDIA phát triển cho AI, khác nhau chủ yếu ở mô hình vận hành. Mạng Ethernet thông thường (off-the-shelf) không được thiết kế cho lưu lượng AI dồn dập và đồng bộ; NVIDIA công bố Spectrum-X cho hiệu năng mạng AI cao hơn khoảng 1,6 lần so với Ethernet thông thường.
| Tiêu chí | NVIDIA Quantum InfiniBand | NVIDIA Spectrum-X Ethernet |
|---|---|---|
| Switch tiêu biểu | Quantum-2 QM9700: 1U, 64 cổng NDR 400 Gb/s, 51,2 Tb/s. Quantum-X800 Q3400: 4U, 144 cổng XDR 800 Gb/s, 115,2 Tb/s | Spectrum-4 SN5600 / SN5610: 2U, 64 cổng 800GbE hoặc 128 cổng 400GbE, 51,2 Tb/s |
| Card mạng | ConnectX-7 / ConnectX-8 SuperNIC | BlueField-3 SuperNIC, ConnectX-8 SuperNIC |
| Cơ chế chống nghẽn | Có sẵn trong giao thức: kiểm soát luồng theo credit, định tuyến thích ứng | Adaptive routing theo từng gói trên switch, SuperNIC sắp xếp lại thứ tự gói; kiểm soát nghẽn dựa trên telemetry của switch |
| Tính toán trong mạng | SHARP (v3 trên Quantum-2, v4 trên Quantum-X800) thực hiện phép gộp ngay trên switch | Không có SHARP; tối ưu dựa trên định tuyến và kiểm soát nghẽn |
| Quản trị | Subnet manager (tích hợp trên QM9700 cho tới 2.000 node) hoặc UFM | Cumulus Linux hoặc SONiC, giám sát bằng NetQ; công cụ và kỹ năng Ethernet quen thuộc |
| Đa người dùng (multi-tenant) | Có, nhưng thường dùng cho cụm chuyên dụng | Thiết kế hướng tới AI cloud đa người dùng, cách ly hiệu năng giữa các workload |
| Phù hợp | Cụm huấn luyện chuyên dụng, cần độ trễ thấp nhất và hiệu năng tập thể (collective) cao nhất | Doanh nghiệp, nền tảng GPU dùng chung, đội ngũ đã quen vận hành Ethernet |
Nguyên tắc lựa chọn
- Chọn InfiniBand khi cụm dành riêng cho huấn luyện hoặc fine-tune quy mô lớn, mọi GPU cùng chạy một công việc, và đội ngũ sẵn sàng vận hành thêm một công nghệ mạng.
- Chọn Spectrum-X Ethernet khi cụm phục vụ nhiều phòng ban hoặc nhiều dự án (mô hình GPU-as-a-Service nội bộ), cần tích hợp với mạng doanh nghiệp sẵn có, hoặc đội ngũ mạng đã quen Ethernet. Đây cũng là lựa chọn NVIDIA dùng trong các kiến trúc tham chiếu doanh nghiệp.
- Không nên dùng switch Ethernet thông thường không cấu hình RoCE đầy đủ cho mạng compute: lưu lượng all-reduce dồn dập dễ gây nghẽn và làm giảm hiệu suất GPU.
Máy chủ Supermicro cho AI hỗ trợ cả hai lựa chọn trong các giải pháp AI SuperCluster: Quantum-2 InfiniBand hoặc Spectrum-X Ethernet 400 Gb/s cho cụm B200 và H200, Spectrum-X Ethernet hoặc Quantum-X800 InfiniBand cho cụm HGX B300.
5. Thiết kế rail-optimized và cách tính số cổng switch
Trong thiết kế rail-optimized, GPU cùng vị trí trên các máy (GPU số 1 của mọi máy, GPU số 2 của mọi máy…) được nối vào cùng một switch leaf, gọi là một “rail”. Nhờ vậy, phần lớn lưu lượng giữa các GPU cùng thứ hạng chỉ đi qua một chặng switch, giảm độ trễ và giảm số cổng spine cần có.
Băng thông compute mỗi SU = số cổng × tốc độ mỗi cổng
Non-blocking: tổng uplink lên spine ≈ tổng cổng xuống node của mỗi leaf
Ví dụ theo kiến trúc tham chiếu
- RTX PRO AI Factory, 1 SU (4 node × 8 GPU): 4 node × 4 SuperNIC = 16 cổng 400G, tổng 6,4 Tb/s cho mạng compute; mạng converged 8 cổng 200G, tổng 1,6 Tb/s.
- RTX PRO AI Factory, 16 node (128 GPU): 64 cáp từ node lên leaf, 32 cáp giữa các switch, mạng compute gộp chung với mạng converged để giảm chi phí.
- HGX B300, 1 SU (4 node × 8 GPU): 64 kết nối 400G, tổng 25,6 Tb/s cho mạng compute hai plane.
- HGX B300, 32 node (256 GPU): 8 switch leaf và 4 switch spine cho mạng compute (tính cả hai plane), 2 switch leaf cho mạng converged.
Con số đáng chú ý: một SU 4 máy HGX B300 cần băng thông mạng compute gấp 4 lần một SU 4 máy RTX PRO. Chi phí switch, transceiver quang và cáp vì vậy chênh lệch rất lớn giữa hai dòng máy, và cần được đưa vào dự toán ngay từ đầu, không chỉ tính giá máy chủ.
6. Cấu hình mạng cho cụm máy chủ GPU theo quy mô
| Quy mô | Khối lượng điển hình | Mạng compute | Mạng converged và OOB |
|---|---|---|---|
| 1–3 máy PCIe 4–8 GPU | Inference, RAG, agent nghiệp vụ | Chưa cần; chừa khe PCIe cho SuperNIC | 2× 100–200GbE mỗi máy tới hai switch; OOB 1GbE riêng |
| 4–16 máy PCIe 8× RTX PRO 6000 | Inference nhiều mô hình, fine-tune định kỳ | 400GbE Spectrum-X rail-optimized, có thể gộp chung switch với mạng converged | 2× 200GbE qua BlueField-3 DPU; switch SN5610 |
| 16–32 máy, hoặc từ 4 máy HGX | Fine-tune, huấn luyện, mô hình chia nhiều máy | Mạng compute tách riêng, spine-leaf; HGX dùng 400–800G mỗi GPU, hai plane | 2× 400GbE mỗi máy; storage hỗ trợ GPUDirect Storage |
| 32 máy HGX trở lên (256+ GPU) | Huấn luyện chuyên dụng, nền tảng AI quy mô lớn | Quantum InfiniBand hoặc Spectrum-X nhiều tầng; cân nhắc giải pháp cấp rack của Supermicro | Thiết kế riêng theo kiến trúc tham chiếu |
Với cụm lớn, Supermicro cung cấp AI SuperCluster dạng tích hợp sẵn theo rack: ví dụ 32 máy HGX B200 hoặc H200 (256 GPU) trong một đơn vị mở rộng, còn với HGX B300 làm mát lỏng có cấu hình 72–144 node, được kiểm thử ở mức rack và cụm (L11, L12) trước khi giao hàng. Cách làm này giảm đáng kể thời gian đi dây, cấu hình và kiểm tra tại chỗ.
7. Sáu sai lầm thường gặp khi thiết kế mạng cho hạ tầng AI
- Mua GPU trước, tính mạng sau: switch, transceiver quang và cáp có thể chiếm phần đáng kể ngân sách cụm, nhất là với máy HGX.
- Dùng chung một mạng cho mọi thứ ở quy mô lớn: lưu lượng storage và người dùng làm nhiễu lưu lượng all-reduce giữa các GPU.
- Bật RoCE nhưng cấu hình chưa đủ: RDMA trên Ethernet cần cấu hình nhất quán từ NIC tới switch (QoS, kiểm soát nghẽn); sai một điểm là hiệu năng giảm mạnh mà khó phát hiện.
- Thiết kế oversubscription cho mạng compute: tiết kiệm cổng spine nhưng GPU rơi vào trạng thái chờ trong pha đồng bộ.
- Quên mạng OOB và quản trị: không có BMC, giám sát và mạng quản trị tách biệt thì vận hành và xử lý sự cố cụm GPU rất khó.
- Bỏ qua điện và làm mát cho switch, optics: switch 51,2 Tb/s và hàng trăm transceiver 400–800G tiêu thụ điện đáng kể, cần tính vào công suất rack.
CSC đồng hành ở cả hai lớp của hạ tầng AI: phần cứng (máy chủ Supermicro, GPU và mạng NVIDIA) và lớp Platform để quản trị, điều phối, tự phục vụ GPU cho nhiều nhóm người dùng, ví dụ Rafay GPU PaaS. Khi nhiều nhóm dùng chung cụm, lớp Platform phân quyền, chia GPU theo nhóm và kết hợp với cơ chế cách ly hiệu năng của Spectrum-X để mỗi nhóm có tài nguyên ổn định. Đội ngũ CSC cung cấp dịch vụ tư vấn hạ tầng AI và triển khai trọn gói, từ khảo sát phòng máy, thiết kế mạng cho cụm máy chủ GPU tới bàn giao cụm vận hành.
8. Câu hỏi thường gặp
Cụm máy chủ GPU chỉ chạy inference có cần InfiniBand không?
Thường là không. Nếu mỗi mô hình nằm gọn trong một máy, các máy phục vụ độc lập và chủ yếu cần mạng converged tốt để nạp mô hình, dữ liệu và nhận yêu cầu. Mạng compute RDMA 400G chỉ cần khi chia mô hình qua nhiều máy, fine-tune hoặc huấn luyện nhiều node.
InfiniBand hay Ethernet Spectrum-X tốt hơn cho hạ tầng AI?
Không có lựa chọn tốt hơn cho mọi trường hợp. InfiniBand phù hợp cụm huấn luyện chuyên dụng cần độ trễ thấp nhất và có SHARP. Spectrum-X Ethernet phù hợp doanh nghiệp, nền tảng GPU dùng chung nhiều người dùng và đội ngũ đã quen vận hành Ethernet.
Mỗi GPU cần bao nhiêu băng thông mạng?
Theo kiến trúc tham chiếu NVIDIA, máy HGX B300 dành 400 Gb/s cho mỗi GPU trên mỗi plane của mạng compute, còn máy 8× RTX PRO 6000 dùng 4 cổng 400G mỗi node (một cổng cho hai GPU). Riêng mạng người dùng, NVIDIA khuyến nghị tối thiểu 25 Gb/s mỗi GPU.
Rail-optimized là gì?
Là cách nối GPU cùng vị trí trên các máy vào cùng một switch leaf. Lưu lượng giữa các GPU cùng thứ hạng chỉ qua một chặng switch, giúp giảm độ trễ và số cổng spine trong cụm.
Có thể dùng switch Ethernet sẵn có cho cụm GPU không?
Có thể dùng cho mạng converged và OOB nếu đủ tốc độ. Với mạng compute, switch thông thường thiếu cơ chế định tuyến thích ứng và kiểm soát nghẽn cho lưu lượng AI, nên dễ làm giảm hiệu năng cụm; cần đánh giá bằng PoC trước khi tái sử dụng.
