Chọn máy chủ GPU Supermicro cho suy luận GenAI: sizing VRAM
Hạ tầng AI • GenAI Inference • Máy chủ GPU
Khi xây hạ tầng AI cho suy luận (inference) GenAI, máy chủ GPU tốt nhất không phải máy mạnh nhất, mà là máy có đủ bộ nhớ GPU cho mô hình và người dùng, đủ băng thông để sinh token nhanh, và còn chỗ để mở rộng. Bài viết hướng dẫn cách sizing từng bước và gợi ý cấu hình máy chủ Supermicro cho AI theo từng quy mô.
1. Suy luận GenAI khác huấn luyện ở đâu?
Huấn luyện cần sức tính toán thô trong nhiều tuần. Suy luận thì chạy liên tục, phục vụ nhiều người dùng cùng lúc, và được đo bằng trải nghiệm: thời gian ra token đầu tiên (TTFT), tốc độ sinh token và số phiên đồng thời.
Mỗi yêu cầu suy luận gồm hai pha có đặc tính phần cứng khác nhau, cộng với một thành phần bộ nhớ thường bị đánh giá thấp:
Đọc prompt
Xử lý toàn bộ ngữ cảnh đầu vào một lần. Pha này nặng về tính toán và quyết định TTFT.
Sinh từng token
Mỗi token mới phải đọc lại trọng số mô hình. Pha này nặng về băng thông bộ nhớ và quyết định tốc độ trả lời.
Bộ nhớ ngữ cảnh
Phần VRAM giữ ngữ cảnh của từng phiên, tăng theo độ dài ngữ cảnh × số người dùng. Đây thường là thứ làm hết VRAM trước cả trọng số mô hình.
Vì vậy, khi chọn máy chủ GPU cho hạ tầng inference, ba thông số đáng nhìn trước tiên là dung lượng bộ nhớ GPU, băng thông bộ nhớ và kết nối GPU–GPU, chứ không chỉ TFLOPS.
2. Bốn câu hỏi cần trả lời trước khi chọn máy
- Chạy mô hình nào, ở độ chính xác nào? Ví dụ mô hình 8B cho phân loại tài liệu, hay 70B cho trợ lý tri thức nội bộ (RAG); FP16, FP8 hay FP4.
- Bao nhiêu người dùng đồng thời, ngữ cảnh dài bao nhiêu? 20 nhân viên hỏi đáp ngắn khác rất xa 200 phiên agent xử lý hợp đồng dài.
- Yêu cầu độ trễ ra sao? Chatbot cần TTFT thấp; xử lý chứng từ theo lô cần thông lượng cao hơn là phản hồi tức thì.
- Kế hoạch 12–24 tháng tới? Bắt đầu từ một máy hay cần lộ trình lên cụm nhiều máy, phải tính ngay từ đầu cho nguồn điện, làm mát và mạng.
3. Cách tính VRAM cần thiết cho suy luận
Nhu cầu bộ nhớ GPU gồm trọng số mô hình, KV cache và một phần dư địa:
Trọng số = số tham số × byte/tham số (FP16 = 2, FP8 = 1, FP4 = 0,5)
KV cache/token = 2 × số lớp × số KV head × head_dim × byte
Ví dụ: Llama 3.1 70B
Mô hình có 80 lớp, 8 KV head, head_dim 128, ngữ cảnh tối đa 128K token. Từ cấu hình này, mỗi token chiếm khoảng 0,33 MB KV cache ở FP16 (khoảng 0,16 MB ở FP8).
| Kịch bản | Trọng số | KV cache | Trọng số + KV | Cộng dư địa 15% | Gợi ý GPU |
|---|---|---|---|---|---|
| Trọng số FP8 + KV FP8, 32 người dùng × 8K token | ~70 GB | ~43 GB | ~113 GB | ~130 GB | 2× RTX PRO 6000 (192 GB); 1× H200 NVL (141 GB) vừa sát |
| Trọng số FP16 + KV FP16, 32 người dùng × 8K token | ~140 GB | ~86 GB | ~226 GB | ~260 GB | 4× RTX PRO 6000 (384 GB); 2× H200 NVL (282 GB) rất sát |
| Trọng số FP8 + KV FP8, 1 phiên ngữ cảnh 128K | ~70 GB | ~21 GB | ~91 GB | ~105 GB | Không vừa 1× RTX PRO 6000; cần 2 GPU hoặc 1× H200 NVL |
| Trọng số FP4 + KV FP8, 32 người dùng × 8K token | ~35 GB | ~43 GB | ~78 GB | ~90 GB | Rất sát 1× RTX PRO 6000 (96 GB); nên giảm số phiên hoặc dùng 2 GPU |
Lưu ý: các engine như vLLM mặc định lưu KV cache ở FP16/BF16 kể cả khi trọng số là FP8. Phải bật KV cache FP8 thì mới đạt các con số trên; nếu giữ FP16, phần KV cache tăng gấp đôi.
4. So sánh và lựa chọn GPU cho hạ tầng inference
Bảng dưới so sánh các GPU NVIDIA có trên dải máy chủ Supermicro, theo đúng các tiêu chí quan trọng với inference.
| GPU | Bộ nhớ | Băng thông | Độ chính xác thấp | Kết nối GPU–GPU | Công suất | Phù hợp |
|---|---|---|---|---|---|---|
| RTX PRO 6000 Blackwell Server | 96 GB GDDR7 | ~1,6 TB/s | FP4 | PCIe 5.0; MIG tới 4 phần | tới 600 W | Inference doanh nghiệp, mô hình nhỏ–vừa, đa tác vụ AI và đồ họa |
| L40S | 48 GB GDDR6 | 864 GB/s | FP8 | PCIe Gen4 | 350 W | Mô hình nhỏ (≤ 13B), tận dụng hạ tầng đã có |
| H200 NVL | 141 GB HBM3e | 4,8 TB/s | FP8 | NVLink bridge 2–4 GPU, 900 GB/s | tới 600 W | Mô hình 70B, nhiều người dùng, cần decode nhanh trên máy PCIe |
| B200 (HGX) | 180 GB HBM3e | tới 8 TB/s | FP8, FP4 | NVLink 5 / NVSwitch, 1,8 TB/s | ~1.000 W | Mô hình lớn, phục vụ khối lượng lớn |
| B300 (HGX) | 288 GB HBM3e | tới 8 TB/s | FP8, FP4 | NVLink 5 / NVSwitch, 1,8 TB/s | tới 1.100 W | Mô hình rất lớn, ngữ cảnh dài, reasoning, agentic AI quy mô cao |
Nguyên tắc chọn nhanh: nếu mô hình vừa trong một GPU, máy PCIe nhiều GPU chạy nhiều bản sao song song thường cho chi phí trên mỗi token tốt. Nếu mô hình phải chia trên nhiều GPU (tensor parallel), kết nối NVLink hoặc NVSwitch trở nên quan trọng, vì PCIe sẽ thành nút cổ chai.
5. Ba nhóm máy chủ Supermicro cho suy luận GenAI
Nhóm 1 — Máy chủ PCIe 4U/5U, 4–8 GPU: lựa chọn chủ lực cho máy đầu tiên
Đây là dòng Supermicro định vị cho suy luận và fine-tune ở quy mô doanh nghiệp: làm mát bằng khí, lắp vào rack sẵn có, thêm GPU theo nhu cầu. Ví dụ:
- SYS-522GA-NRT (5U, 2× Intel Xeon 6900): tới 8 GPU hai khe hoặc 10 GPU một khe, hỗ trợ RTX PRO 6000 / 4500 Blackwell Server Edition.
- AS-4125GS-TNRT (4U, 2× AMD EPYC 9004/9005 tùy phiên bản bo mạch): tới 8 GPU hai khe như L40S hoặc RTX PRO 4000/4500/5000.
Phù hợp với trợ lý tri thức nội bộ (RAG), xử lý tài liệu và chứng từ, agent nghiệp vụ với mô hình open-weight 8B–70B.
Nhóm 2 — PCIe với GPU HBM và NVLink bridge
Khi mô hình 70B cần decode nhanh cho nhiều người dùng, cấu hình PCIe với H200 NVL nối NVLink 2 hoặc 4 GPU là bước trung gian trước khi lên HGX. Băng thông HBM3e 4,8 TB/s giúp sinh token nhanh hơn rõ rệt so với GPU dùng GDDR. Supermicro hỗ trợ H200 NVL ở cấu hình NVLink 2 và 4 GPU trên một số dòng máy PCIe; model cụ thể nên được xác nhận khi sizing.
Nhóm 3 — HGX 8-GPU (B200 / B300): cho cụm phục vụ quy mô lớn
- HGX B200: SYS-A22GA-NBRT (10U, làm mát khí) hoặc SYS-422GA-NBRT-LCC (4U, làm mát lỏng trực tiếp, triển khai theo rack).
- HGX B300: SYS-822GS-NB3RT (8U, làm mát khí, 8× ConnectX-8 800G), hoặc SYS-422GS-NB3RT-LCC (4U, làm mát lỏng) cho mật độ cao.
Phù hợp khi chạy nhiều mô hình song song, ngữ cảnh rất dài, agentic AI với lượng token lớn, hoặc nền tảng AI dùng chung cho nhiều đơn vị.
| Kịch bản | Mô hình điển hình | Cấu hình gợi ý |
|---|---|---|
| Ứng dụng đầu tiên cho một phòng ban | 8B–32B | Máy PCIe 4U/5U, 2–4× RTX PRO 6000, chừa khe mở rộng |
| Trợ lý tri thức toàn doanh nghiệp, vài trăm người dùng | 70B FP8 | Máy PCIe 5U, 8× RTX PRO 6000, hoặc máy PCIe với 4× H200 NVL qua NVLink |
| Nền tảng AI dùng chung, nhiều mô hình, agentic AI | 70B trở lên, nhiều mô hình | Cụm 2–20 máy: PCIe cho mô hình nhỏ, HGX B200/B300 cho mô hình lớn |
6. CPU, RAM, mạng, điện và làm mát: phần đi kèm GPU
GPU mạnh mà phần đi kèm yếu thì máy vẫn chạy chậm. Kiến trúc tham chiếu RTX PRO AI Factory của NVIDIA cho suy luận quy mô vừa và nhỏ đưa ra các mốc nên tham khảo:
- CPU: tối thiểu khoảng 7 nhân CPU cho mỗi GPU, để tiền xử lý, tokenizer và điều phối không thành nút cổ chai.
- RAM hệ thống: tối thiểu 128 GB cho mỗi GPU; máy 8 GPU nên có từ 1 TB RAM.
- Ổ NVMe cục bộ: khoảng 1 TB cho mỗi socket CPU, đủ chứa hệ điều hành, container và các bản mô hình đang dùng.
- Mạng: máy đơn lẻ có thể dùng mạng sẵn có; khi lên cụm, cần card 200–400G cho kết nối giữa các máy. Hệ HGX B300 dùng ConnectX-8 tới 800 Gb/s cho mỗi GPU.
Điện và làm mát là điểm hay bị bỏ qua nhất. Riêng 8× RTX PRO 6000 đã có thể tiêu thụ tới khoảng 4,8 kW cho GPU; một GPU B300 lên tới 1.100 W. Máy PCIe 4U/5U làm mát khí phù hợp với phòng máy thông thường, còn HGX mật độ cao thường cần rack công suất lớn hoặc làm mát lỏng trực tiếp. Hãy khảo sát công suất rack và hệ thống làm mát trước khi chốt cấu hình.
7. Năm sai lầm thường gặp khi chọn máy chủ GPU cho inference
- Chọn theo TFLOPS thay vì dung lượng và băng thông bộ nhớ GPU.
- Chỉ tính trọng số mô hình, quên phần bộ nhớ cho người dùng đồng thời và ngữ cảnh dài.
- Lắp đầy GPU ngay từ đầu, không chừa khe và nguồn điện để mở rộng.
- Chia mô hình lớn qua PCIe khi cần tensor parallel nhiều GPU, thay vì dùng NVLink hoặc HGX.
- Bỏ qua PoC: không chạy thử với mô hình, dữ liệu và số người dùng gần với thực tế trước khi mua.
CSC đồng hành ở cả hai lớp: hạ tầng phần cứng (máy chủ Supermicro, GPU NVIDIA) và lớp Platform để quản trị, điều phối và tự phục vụ GPU, kèm dịch vụ tư vấn và triển khai hạ tầng AI. Đội ngũ CSC đã triển khai cả máy chủ 4–8 GPU lẫn cụm nhiều máy cho ngân hàng, viễn thông, đại học và viện nghiên cứu.
8. Câu hỏi thường gặp
Máy chủ GPU cho suy luận cần bao nhiêu VRAM?
Cộng dung lượng trọng số mô hình (số tham số × byte theo độ chính xác) với KV cache (tăng theo độ dài ngữ cảnh × số người dùng đồng thời), rồi chừa thêm khoảng 10–20%. Ví dụ Llama 3.1 70B với trọng số và KV cache ở FP8, 32 người dùng × 8K token, cần khoảng 113 GB, tức khoảng 130 GB khi cộng dư địa.
Nên chọn máy chủ PCIe hay HGX cho inference?
Nếu mô hình vừa trong một hoặc hai GPU và cần nhiều bản sao song song, máy PCIe 4U/5U nhiều GPU thường hiệu quả về chi phí. Nếu mô hình lớn phải chia trên nhiều GPU, hoặc cần phục vụ khối lượng token rất lớn, HGX với NVLink/NVSwitch phù hợp hơn.
RTX PRO 6000 Blackwell có chạy được mô hình 70B không?
Có, nhưng thường cần 2 GPU (192 GB) để còn đủ bộ nhớ cho người dùng đồng thời khi chạy FP8. Chỉ dùng 1 GPU khi đã lượng tử hóa trọng số xuống FP4 và giới hạn số phiên, vì tổng bộ nhớ đã rất sát 96 GB.
Máy chủ 8 GPU cần chuẩn bị điện và làm mát thế nào?
Riêng 8 GPU RTX PRO 6000 có thể tiêu thụ tới khoảng 4,8 kW, chưa tính CPU và các thành phần khác. Cần khảo sát công suất rack và khả năng làm mát trước; hệ HGX mật độ cao thường cần làm mát lỏng.
Có thể bắt đầu với một máy rồi mở rộng thành cụm không?
Có. Nên chọn máy còn khe GPU trống, tính trước nguồn điện, làm mát và mạng 200–400G, đồng thời triển khai lớp điều phối GPU ngay từ đầu để khi thêm máy chỉ cần gắn vào cụm.
