Máy chủ GPU Supermicro cho AI tại Việt Nam

1. Máy chủ GPU là gì, máy chủ AI khác gì

Máy chủ GPU (server GPU) là máy chủ được thiết kế để gắn nhiều GPU, kèm nguồn điện, làm mát và đường kết nối PCIe hoặc NVLink đủ lớn để GPU chạy hết công suất. Phần lớn máy chủ GPU NVIDIA hiện nay dùng GPU dạng PCIe hoặc nền tảng HGX với GPU SXM; hệ rack-scale như GB300 NVL72 dùng siêu chip Grace Blackwell. Khác với máy chủ thông thường, giới hạn của máy chủ GPU thường nằm ở bộ nhớ GPU, băng thông giữa các GPU, công suất điện và khả năng tản nhiệt chứ không nằm ở CPU.

Máy chủ AI là cách gọi theo mục đích sử dụng: một máy chủ GPU đã được chọn cấu hình, cài nền tảng phần mềm (driver, container, engine suy luận, công cụ điều phối) và sẵn sàng chạy tải AI. Nói cách khác, máy chủ GPU là phần cứng, còn máy chủ AI là phần cứng cộng với lớp phần mềm và cách vận hành.

Bài giải thích chi tiết về khái niệm và thời điểm doanh nghiệp cần đầu tư: Máy chủ GPU là gì và khi nào doanh nghiệp cần (sắp có).

2. Chọn máy chủ GPU theo bài toán AI

Cách chọn nhanh nhất là bắt đầu từ bài toán, không bắt đầu từ tên GPU. Ba nhóm bài toán dưới đây tương ứng với ba nhóm máy chủ AI Supermicro khác nhau về kiến trúc (Hình 1).

Máy chủ AI NVIDIA: khi nào cần lên HGX

Nếu mô hình vừa trong một hoặc hai GPU, máy PCIe nhiều GPU chạy nhiều bản sao song song thường là điểm khởi đầu hợp lý. Khi mô hình phải chia trên nhiều GPU (tensor parallel) hoặc cần huấn luyện, kết nối NVLink với NVSwitch trên nền tảng HGX trở nên quan trọng, vì đường PCIe sẽ thành nút cổ chai. Theo trang sản phẩm Supermicro, bộ nhớ mỗi GPU trên các nền tảng HGX là 141 GB (H200), 180 GB (B200) và 288 GB (B300).

3. Mạng cho cụm máy chủ GPU

Một máy chủ GPU đơn lẻ có thể dùng mạng sẵn có của doanh nghiệp. Khi lên cụm, mạng giữa các máy (East–West) quyết định GPU có phải chờ dữ liệu hay không: cụm huấn luyện thường dùng card 400–800G cho mỗi GPU và thiết kế rail-optimized, còn cụm suy luận nhỏ có yêu cầu thấp hơn; cần chọn giữa InfiniBand và Ethernet theo quy mô, đội ngũ vận hành và hạ tầng hiện có. Ví dụ SYS-822GS-NB3RT có sẵn 8 cổng OSFP 800GbE dùng NVIDIA ConnectX-8 SuperNIC.

Đọc chi tiết: Mạng cho cụm máy chủ GPU: chọn InfiniBand hay Ethernet.

4. Lưu trữ cho máy chủ GPU

GPU chỉ nhanh khi dữ liệu tới kịp. Với suy luận, điểm cần chú ý là KV cache khi ngữ cảnh dài và nhiều người dùng; với huấn luyện là tốc độ đọc dataset và ghi checkpoint. CSC thiết kế lưu trữ theo tầng: NVMe cục bộ trên máy chủ GPU, storage server All-Flash cho dữ liệu nóng, và object storage S3 dung lượng lớn với Cloudian HyperStore (hỗ trợ NVIDIA GPUDirect cho S3).

• Phân tầng lưu trữ KV cache cho suy luận AI: từ HBM đến S3
• 15 câu hỏi thường gặp về object storage với NVIDIA GPUDirect
• Data lake AI trên storage server Supermicro
• Giải pháp lưu trữ cho AI và HPC
• Lưu trữ cho AI: chọn object, file hay block storage (sắp có)

5. Phần mềm và vận hành máy chủ AI

Phần cứng chỉ tạo ra giá trị khi có lớp nền tảng để nhiều nhóm cùng dùng GPU an toàn và hiệu quả. Trong hệ sinh thái CSC, lớp này gồm:

• Engine suy luận như vLLM, SGLang: vLLM hay SGLang: doanh nghiệp nên chọn engine nào.
• Rafay GPU PaaS để chia sẻ GPU cho nhiều phòng ban, cấp quota và tự phục vụ: Chia sẻ máy chủ GPU Supermicro cho nhiều phòng ban với Rafay và trang sản phẩm Rafay.
• NVIDIA AI Enterprise cho bộ phần mềm AI được hãng hỗ trợ: NVIDIA AI Enterprise trên máy chủ GPU Supermicro (sắp có).

6. Mua máy chủ GPU hay thuê GPU

Mua máy chủ GPU đặt tại chỗ và thuê GPU cloud phục vụ những nhu cầu khác nhau, và nhiều doanh nghiệp dùng cả hai. Thay vì so giá, nên so theo một khung: mức sử dụng GPU dự kiến trong 3 năm, yêu cầu về vị trí và chủ quyền dữ liệu, chi phí điện, làm mát và phòng máy, nhân lực vận hành, và mức linh hoạt cần có khi nhu cầu thay đổi. Tải chạy đều, dữ liệu nhạy cảm thường nghiêng về đầu tư tại chỗ; tải thử nghiệm ngắn hạn hoặc biến động mạnh thường phù hợp thuê theo nhu cầu.

Khung tính đầy đủ: Mua máy chủ GPU hay thuê GPU cloud: khung tính TCO (sắp có).

7. Dịch vụ CSC khi đầu tư máy chủ GPU

Supermicro mang lại dải máy chủ GPU rộng, tối ưu theo từng loại tải, với tùy chọn làm mát khí và làm mát lỏng. CSC bổ sung phần mà doanh nghiệp cần để đưa máy chủ vào vận hành thật:

Chi tiết dịch vụ: Dịch vụ triển khai hạ tầng AI của CSC. Quy trình từng bước: Triển khai hạ tầng AI: từ sizing đến vận hành (sắp có).