Máy chủ GPU là gì và khi nào doanh nghiệp cần

1. Máy chủ GPU là gì và khác máy chủ thông thường ở đâu

Một máy chủ thông thường dựa vào CPU: vài chục tới vài trăm nhân mạnh, giỏi xử lý tuần tự và rẽ nhánh phức tạp như cơ sở dữ liệu, ứng dụng nghiệp vụ, máy ảo. GPU đi theo hướng ngược lại: hàng nghìn nhân nhỏ cùng làm một phép tính trên rất nhiều dữ liệu một lúc (Hình 1). Các mô hình AI gồm chủ yếu phép nhân ma trận, đúng loại việc GPU làm nhanh hơn CPU nhiều lần.

Vì vậy, máy chủ GPU không đơn giản là máy chủ gắn thêm card đồ họa. Nó được thiết kế quanh GPU: nhiều khe PCIe tốc độ cao hoặc bo mạch GPU riêng, bộ nguồn từ vài kW với máy PCIe tới trên 10 kW với máy HGX, luồng gió hoặc làm mát lỏng cho GPU, và card mạng tốc độ cao để nối nhiều máy. Khi chọn máy, câu hỏi đầu tiên vì thế không phải “CPU nào” mà là “bao nhiêu GB bộ nhớ GPU, GPU nối với nhau thế nào, rack cấp được bao nhiêu điện”.

Máy chủ AI khác máy chủ GPU thế nào

Hai cụm từ thường được dùng thay nhau. Cách phân biệt thực tế: máy chủ GPU chỉ phần cứng; gọi là máy chủ AI khi máy đã có lớp phần mềm (driver, container, engine suy luận, công cụ điều phối) và đang phục vụ mô hình. Một điểm khác cần biết là dạng GPU: GPU PCIe cắm vào khe như card mở rộng, dễ thêm bớt; GPU SXM gắn trên bo mạch HGX, nối với nhau bằng NVLink băng thông cao, dành cho mô hình lớn và huấn luyện.

2. Bên trong một máy chủ GPU có gì

Hình 2 mô tả đường đi của dữ liệu trong một máy chủ GPU khi chạy mô hình AI: dữ liệu và trọng số mô hình nằm trên ổ NVMe, được nạp qua CPU và RAM hệ thống, rồi chuyển vào bộ nhớ của từng GPU. Mỗi thành phần trên đường đi đó đều có thể thành nút thắt.

Trong năm nhóm trên, bộ nhớ GPU thường là thông số quyết định đầu tiên. Cách tính VRAM theo mô hình, độ chính xác và số người dùng có trong bài chọn máy chủ GPU cho suy luận GenAI.

3. Các dạng máy chủ GPU: từ một máy tới rack-scale

Máy chủ GPU có nhiều dạng, khác nhau ở số GPU, cách GPU nối với nhau và yêu cầu phòng máy (Hình 3). Doanh nghiệp thường bắt đầu ở bậc thứ hai và đi lên khi nhu cầu tăng.

• Máy chủ GPU PCIe 4U/5U: ví dụ Supermicro AS-4125GS-TNRT (4U, 2× AMD EPYC 9004/9005, bản 9005 cần bo mạch rev 2.x, tới 8 GPU PCIe hai khe) hoặc SYS-522GA-NRT (5U, 2× Intel Xeon 6900, tới 8 GPU hai khe hoặc 10 GPU một khe). Làm mát khí, lắp vào rack sẵn có, thêm GPU theo nhu cầu.
• HGX 8-GPU: 8 GPU trên một bo mạch, nối với nhau bằng NVLink qua NVSwitch. Ví dụ theo trang Supermicro: SYS-821GE-TNHR (8U, HGX H200, 141 GB mỗi GPU), SYS-422GA-NBRT-LCC (4U làm mát lỏng, HGX B200, 180 GB mỗi GPU), SYS-822GS-NB3RT (8U, HGX B300, 288 GB mỗi GPU). Bài so sánh ba thế hệ này sẽ có trong loạt bài máy chủ AI NVIDIA.
• Rack-scale: thiết kế theo cả rack, thường cần làm mát lỏng trực tiếp; xem bài làm mát lỏng DLC cho máy chủ GPU.

Danh sách dòng máy theo từng bài toán được tổng hợp ở trang máy chủ GPU Supermicro.

4. Khi nào doanh nghiệp cần máy chủ GPU: năm dấu hiệu

Nhu cầu máy chủ GPU tại chỗ thường xuất hiện khi AI chuyển từ thử nghiệm sang vận hành. Năm dấu hiệu dưới đây thường gặp ở các ngành tài chính, giáo dục và sản xuất.

1. Dữ liệu không được rời khỏi doanh nghiệp. Hồ sơ khách hàng, giao dịch, tài liệu nội bộ cần xử lý bằng mô hình chạy tại chỗ thay vì gửi ra dịch vụ bên ngoài. Đây là lý do phổ biến nhất ở ngành ngân hàng, bảo hiểm.
2. Tải AI chạy đều, không còn là thử nghiệm. Trợ lý tri thức nội bộ, xử lý chứng từ, chatbot chăm sóc khách hàng chạy hằng ngày; mức sử dụng GPU ổn định và dự báo được.
3. Cần kiểm soát độ trễ và chi phí theo token. Khi số người dùng và lượng token tăng, chi phí theo lượt dùng tăng theo; doanh nghiệp muốn một mức chi phí cố định và độ trễ ổn định.
4. Nhiều nhóm cùng cần GPU. Nhóm dữ liệu, nhóm phát triển ứng dụng, khoa và viện nghiên cứu cần chia nhau tài nguyên GPU theo quota. Bài chia sẻ máy chủ GPU cho nhiều phòng ban mô tả cách làm.
5. Cần tùy biến mô hình. Fine-tune mô hình open-weight trên dữ liệu riêng, hoặc chạy nhiều mô hình chuyên biệt song song.

5. Khi nào doanh nghiệp chưa cần máy chủ GPU

Không phải bài toán AI nào cũng cần đầu tư GPU ngay. Doanh nghiệp có thể chưa cần máy chủ GPU tại chỗ khi:

• Đang ở giai đoạn thử ý tưởng, chưa xác định mô hình và người dùng: thuê GPU theo giờ hoặc dùng dịch vụ AI để thử nhanh thường hợp lý hơn.
• Tải chỉ chạy vài lần mỗi tháng, mức sử dụng GPU thấp.
• Bài toán chạy đủ nhanh trên CPU, như báo cáo hay học máy cổ điển.
• Phòng máy chưa đáp ứng công suất điện và làm mát; khi đó cần khảo sát và nâng cấp trước, hoặc đặt máy tại trung tâm dữ liệu.

6. Bắt đầu đầu tư máy chủ GPU từ đâu

Bốn bước dưới đây giúp tránh mua thừa hoặc thiếu ở lần đầu:

1. Chọn bài toán đầu tiên có giá trị rõ và dữ liệu sẵn sàng, ví dụ trợ lý tra cứu quy trình nội bộ.
2. Sizing: mô hình, độ chính xác, số người dùng đồng thời, độ dài ngữ cảnh → dung lượng bộ nhớ GPU và số GPU.
3. Khảo sát phòng máy: công suất rack, làm mát, mạng, chỗ cho máy thứ hai.
4. PoC với mô hình và dữ liệu gần thực tế, đo độ trễ và số người dùng phục vụ được, rồi mới chốt cấu hình.

Khi đã có máy đầu tiên, các bước tiếp theo thường là mạng cho cụm (xem mạng cho cụm máy chủ GPU) và phân tầng lưu trữ cho dữ liệu AI.

7. Giải pháp tham chiếu: máy chủ GPU Supermicro cùng CSC