Chạy mô hình AI 753B trên cụm 8 NVIDIA DGX Spark: số liệu và bài học

1. NVIDIA vừa công bố gì về cụm DGX Spark

Trong bài blog kỹ thuật ngày 22/10/2026, nhóm kỹ sư NVIDIA cho biết DGX Spark nay được hỗ trợ chính thức ở cấu hình cụm tới 8 node. Mỗi node có 128 GB bộ nhớ hợp nhất, nên 4 node cho 512 GB và 8 node cho 1 TB. NVIDIA nêu ba việc cụm này nhắm tới:

• Chạy cục bộ các mô hình cỡ frontier, ví dụ GLM 5.3 với 753 tỷ tham số.
• Điều phối nhiều mô hình cùng lúc trên một cụm dùng chung.
• Pre-training các mô hình nhỏ với hiệu suất mở rộng gần tuyến tính.

2. Một node NVIDIA DGX Spark có gì

DGX Spark là máy tính AI để bàn kích thước 150 × 150 × 50,5 mm, dùng siêu chip GB10 Grace Blackwell. Điểm quan trọng nhất với bài toán chạy mô hình lớn là CPU và GPU dùng chung một vùng bộ nhớ, và máy có sẵn card mạng ConnectX-7 để nối nhiều máy với nhau.

Theo NVIDIA, một máy chạy được mô hình tới khoảng 200 tỷ tham số, hai máy khoảng 400 tỷ và bốn máy khoảng 700 tỷ. Cụm 8 node vì vậy mở thêm dư địa cho mô hình trên 700 tỷ tham số và cho bộ nhớ ngữ cảnh khi nhiều người dùng cùng hỏi.

3. Ba cách nối nhiều DGX Spark

Các node trao đổi tensor với nhau qua RDMA over Converged Ethernet (RoCE) trên card ConnectX-7. NVIDIA mô tả ba kiểu kết nối (Hình 1):

• Nối thẳng (direct connect): dùng cho 2 node.
• Nối vòng (ring), không cần switch: rẻ và đơn giản hơn, phù hợp nhất với cụm 4 node. Nhược điểm: không chia được cụm thành các nhóm độc lập, và không hợp với tải all-to-all hay MPI.
• Qua switch: mọi node nói chuyện được với mọi node. NVIDIA khuyến nghị cấu hình này khi lên 8 node, và bắt buộc dùng switch khi muốn chia cụm thành nhiều nhóm chạy mô hình khác nhau hoặc dùng RoCEnante.

Khác biệt giữa vòng và switch hiện rõ trong số đo của NVIDIA với mô hình dense Qwen3.8-27B (NVFP4, ngữ cảnh vào 8.192 token, sinh 256 token, 1 người dùng, không bật speculative decoding):

Bảng của NVIDIA chỉ ghi các cấu hình switch có RoCEnante. Theo biểu đồ của NVIDIA (Ảnh 2), không có RoCEnante thì cụm qua switch đạt 2,56 lần ở 4 node và 3,05 lần ở 8 node.

RoCEnante là backend truyền thông tập thể (collective) NVIDIA tối ưu riêng cho Spark và đã đưa vào FlashInfer. Theo NVIDIA, ở 4 node với mô hình NVFP4, RoCEnante cho prefill cao hơn khoảng 5% và decode cao hơn khoảng 21%; ở 8 node với mô hình không lượng tử hóa, decode cao hơn khoảng 18%. RoCEnante chỉ dùng cho cụm qua switch và tự chuyển về NCCL nếu bài kiểm tra khởi động thất bại. NVIDIA cũng lưu ý NCCL cho kết quả tốt hơn khi cụm lớn hơn hoặc số người dùng đồng thời cao.

4. Chạy mô hình 753B trên cụm 8 DGX Spark

Mô hình lớn nhất NVIDIA thử là GLM 5.3 của Z.ai, 753 tỷ tham số, dùng checkpoint nvidia/GLM-5.3-NVFP4 có trọng số khoảng 470 GB, bật MTP3 (dự đoán nhiều token). NVIDIA có hướng dẫn phục vụ mô hình trên cụm DGX Spark bằng vLLM. Khi chia một mô hình trên nhiều node để giải mã, cách NVIDIA nhắc tới là tensor parallel: mỗi lớp mô hình được cắt thành nhiều phần đặt trên các node, và sau mỗi bước tính các node phải gộp kết quả qua mạng (Hình 2).

Kết quả NVIDIA đo cho GLM 5.3 trên 8 node, với ngữ cảnh vào 8K token:

Cách đọc bảng: một người dùng nhận khoảng 31 token/s; theo phân tích của CSC, mức này đủ cho thử nghiệm và phát triển ứng dụng. Khi 8 người cùng hỏi, tổng thông lượng tăng lên 67 token/s nhưng mỗi người chỉ còn khoảng 18 token/s, và tốc độ đọc prompt (prefill) của cả cụm giữ ở mức 1.600 token/s. Theo phân tích của CSC, lý do nằm ở bộ nhớ: decode phải đọc trọng số liên tục, mà mỗi node chỉ có 273 GB/s băng thông LPDDR5x. Thêm node giúp chia nhỏ lượng trọng số mỗi node phải đọc, nhưng lại thêm chi phí gộp kết quả qua mạng.

NVIDIA cũng nhắc tới GLM 5.3 Flash, một mô hình mixture-of-experts, đạt khoảng 80 token/s khi sinh văn bản trên 8 node.

5. Nhiều mô hình trên một cụm với NeMo Switchyard

Ứng dụng agent thực tế thường gọi nhiều loại mô hình: mô hình lớn cho bước suy luận khó, mô hình nhỏ cho tác vụ đơn giản như phân loại hay gọi công cụ. NVIDIA thử điều này bằng NeMo Switchyard, công cụ định tuyến yêu cầu tới nhóm mô hình phù hợp theo chính sách khai báo trong file YAML (Hình 3).

Theo NVIDIA, trên bộ benchmark gọi công cụ 92 ca, cấu hình có định tuyến đạt 91/100, tương đương cấu hình chỉ dùng Qwen3.8 Flash Next. Thông lượng tổng tăng khoảng 1,5 lần khi một nửa lưu lượng đi tới mô hình lớn, và khoảng 3 lần khi chỉ một phần tư đi tới mô hình lớn. Lưu ý: Switchyard hiện ở dạng prototype, và kiểu chia nhóm này cần kết nối qua switch.

6. Pre-training mô hình nhỏ: mở rộng gần tuyến tính

Với huấn luyện, NVIDIA chạy lại dự án nanochat (khoảng 896,5 triệu tham số, 20 lớp transformer, chuỗi 2.048 token) trên 1 tới 8 node. Khi huấn luyện mô hình nhỏ, cách chia thường dùng là mỗi node giữ đủ mô hình, tính trên phần dữ liệu riêng và chỉ đồng bộ gradient sau mỗi bước, nên lượng trao đổi qua mạng ít hơn nhiều so với giải mã. Kết quả NVIDIA công bố cho thấy mở rộng gần tuyến tính (Hình 4).

7. Bài học cho doanh nghiệp khi chạy mô hình AI lớn tại chỗ

Số liệu NVIDIA cho thấy rõ cụm DGX Spark mạnh ở đâu và dừng ở đâu. Theo phân tích của CSC, có bốn điểm đội ngũ hạ tầng và MLOps nên lưu ý:

1. Dung lượng bộ nhớ giải quyết bài toán “có chạy được không”, băng thông bộ nhớ quyết định “chạy nhanh cỡ nào”. Cụm 1 TB đưa mô hình 753B về bàn làm việc, nhưng tốc độ mỗi người dùng giảm khi đông người hỏi cùng lúc.
2. Kết nối và phần mềm truyền thông quan trọng không kém số node. Với 8 node, cụm qua switch dùng RoCEnante đạt mức tăng tốc decode 4,43 lần, so với 3,38 lần khi nối vòng; nếu chỉ dùng switch với NCCL mặc định, NVIDIA đo được 3,05 lần. Nếu định đi quá 4 node hoặc chia cụm cho nhiều mô hình, hãy tính switch và backend truyền thông ngay từ đầu.
3. Huấn luyện mở rộng tốt hơn suy luận. Pre-training đạt 7,79 lần trên 8 node, trong khi decode của mô hình dense đạt 4,43 lần. Cùng một cụm, hiệu quả đầu tư khác nhau theo loại tải.
4. Phần lớn công sức nằm ở khâu tích hợp. Để có các con số trên cần nối mạng, cấu hình RoCE, chọn backend truyền thông, dựng container vLLM, viết chính sách định tuyến và đo lại từng cấu hình. Hỗ trợ cụm 8 node trong NVIDIA Sync dự kiến có vào cuối năm, Switchyard đang là prototype, và benchmark dense không bật speculative decoding.

8. Dịch vụ triển khai AI của CSC: từ cụm DGX Spark đến LLM serving và RAG doanh nghiệp

NVIDIA có sẵn playbook cho từng bước, nhưng đưa cụm vào môi trường doanh nghiệp (mạng, phân quyền, dữ liệu nội bộ, vận hành) vẫn là một khối việc tích hợp nhiều bước. Dịch vụ triển khai hạ tầng AI của CSC nhận phần tích hợp đó, để nhóm AI tập trung vào ứng dụng. Là nhà phân phối giá trị gia tăng (VAD) trong các lĩnh vực AI, Cloud và Data, CSC cung cấp NVIDIA DGX Spark dưới dạng trọn bộ giải pháp: thiết bị, cài đặt platform, LLM serving, RAG và Agentic AI, cùng dịch vụ tư vấn, triển khai và hỗ trợ. Bảng dưới đối chiếu từng bước trong bài NVIDIA với phần việc CSC làm cùng doanh nghiệp.

Khi ứng dụng đã chứng minh giá trị và cần phục vụ nhiều người dùng, CSC sizing hạ tầng production, thường là máy chủ GPU trong trung tâm dữ liệu. Hai điểm kỹ thuật cần tính sớm: DGX Spark dùng CPU Arm64 trong khi phần lớn máy chủ GPU dùng x86, nên image container phải build đúng kiến trúc; và mô hình NVFP4 cần GPU thế hệ Blackwell để chạy trực tiếp. Với mô hình phải chia trên nhiều máy, xem thêm bài ghép nhiều máy chủ GPU.