Mua máy chủ GPU hay thuê GPU cloud: khung tính TCO

1. Mua máy chủ GPU hay thuê: so sánh trên đơn vị nào

Sai lầm phổ biến nhất là đặt giá mua một máy chủ cạnh đơn giá thuê một giờ GPU rồi chia ra số tháng hòa vốn. Phép chia đó bỏ qua hai điều: máy chủ tại chỗ có nhiều chi phí đi kèm ngoài giá máy, và GPU thuê chỉ tốn tiền khi chạy còn GPU mua tốn tiền cả khi đứng yên (Hình 1).

Đơn vị so sánh nên dùng là chi phí trên một giờ GPU hữu ích, tức giờ GPU thực sự chạy tải của doanh nghiệp. Với tải suy luận, có thể quy tiếp ra chi phí trên một triệu token hoặc trên một nghìn yêu cầu, miễn là hai phía đo cùng mô hình, cùng độ chính xác và cùng mức độ trễ chấp nhận được.

2. Các hạng mục chi phí khi mua máy chủ GPU

Khi lập TCO cho phương án mua máy chủ GPU, Anh/Chị nên liệt kê đủ các hạng mục dưới đây, kể cả những hạng mục đã có sẵn trong doanh nghiệp (khi đó ghi phần chi phí phân bổ, không ghi bằng 0).

Hai hạng mục hay bị ước tính thiếu là điện và phần mềm. Về điện, công suất của máy chủ GPU lớn hơn nhiều so với máy chủ thường: theo NVIDIA, mỗi GPU H200 SXM có TDP tới 700 W, H200 NVL và RTX PRO 6000 Blackwell Server Edition tới 600 W. Máy HGX 8-GPU như Supermicro SYS-821GE-TNHR dùng 6 bộ nguồn 3.000 W cấu hình dự phòng 4+2 (xem thêm các dòng máy chủ GPU Supermicro). Ngoài công suất của máy, PUE (tỷ số giữa tổng điện năng của trung tâm dữ liệu và điện năng của thiết bị IT, theo ISO/IEC 30134-2) cho biết phần điện thêm cho làm mát và phân phối điện.

Với phần mềm, cần kiểm tra GPU có kèm sẵn license hay không. Theo NVIDIA, H200 NVL đi kèm subscription NVIDIA AI Enterprise 5 năm; với GPU khác, license được tính theo từng GPU và cần cộng vào chi phí năm. Nếu dùng nền tảng điều phối như Rafay GPU PaaS để chia GPU cho nhiều nhóm, cũng cộng license của nền tảng vào đây.

3. Các hạng mục chi phí khi thuê máy chủ GPU trên cloud

Phía cloud, đơn giá giờ GPU chỉ là một phần, và đơn giá đó phụ thuộc hình thức mua. Theo tài liệu AWS EC2, các hình thức chính gồm On-Demand (trả theo giây), Savings Plans và Reserved Instances (cam kết 1 hoặc 3 năm) và Spot (dung lượng còn trống, có thể bị thu hồi); AWS còn có Capacity Blocks để đặt trước một cụm GPU cho tải ML. Google Cloud và Azure có các hình thức cam kết và Spot tương tự.

Thuê GPU có những lợi thế rõ: bắt đầu ngay, không cần chuẩn bị phòng máy, mở rộng nhanh khi có đỉnh tải, và thử được nhiều loại GPU trước khi chọn. Khung TCO không nhằm loại bỏ cloud, mà giúp xác định phần tải nào nên chạy ở đâu.

4. Công thức TCO và mức sử dụng GPU hòa vốn

Sau khi có đủ hạng mục, quy cả hai phương án về chi phí trên một giờ GPU hữu ích:

Trong đó U là tỷ lệ giờ GPU chạy tải thật trên tổng số giờ trong năm, N là số năm khấu hao. Khi U của doanh nghiệp cao hơn U*, mua máy chủ GPU có chi phí trên giờ thấp hơn; khi thấp hơn, thuê có lợi hơn (Hình 2). Lưu ý điện năng thay đổi theo tải, nên phần điện trong chi phí vận hành nên tính theo công suất trung bình ứng với từng mức U. Với phần thuê có cam kết 1–3 năm hoặc đặt trước, giờ đã cam kết nhưng không dùng vẫn phải trả, nên C_thuê cũng tăng khi U thấp: tính bằng chi phí giờ đã cam kết chia cho giờ dùng thật.

Ba lưu ý khi dùng công thức:

• So cùng hình thức cam kết. Nếu so với giá thuê cam kết 3 năm, phương án mua cũng nên khấu hao 3 năm để thời gian hai bên tương đương.
• So cùng năng lực. Hai phía dùng cùng loại GPU, cùng dung lượng bộ nhớ GPU, cùng kiểu kết nối (PCIe hay NVLink). Cách sizing bộ nhớ GPU theo mô hình có trong bài máy chủ suy luận AI: chọn máy chủ GPU theo VRAM.
• Tính độ nhạy. Chạy lại bảng tính với U thấp hơn và cao hơn dự kiến, đơn giá điện và PUE khác nhau, để biết kết luận có đổi không.

5. Ước tính mức sử dụng GPU: biến số quyết định

U là biến số khó ước tính nhất và ảnh hưởng mạnh nhất tới kết quả. Một cụm GPU chỉ phục vụ chatbot nội bộ trong giờ hành chính có U thấp; cùng cụm đó nếu ban đêm chạy fine-tune, đánh giá mô hình hoặc xử lý tài liệu theo lô thì U tăng lên đáng kể (Hình 3).

Cách ước tính U thực tế:

1. Liệt kê tải theo nhóm: suy luận trực tuyến, RAG, fine-tune, đánh giá mô hình, xử lý theo lô; mỗi tải ghi số GPU cần và số giờ mỗi ngày.
2. Đo nếu đã có dữ liệu: nếu đang thuê GPU, hóa đơn và log sử dụng vài tháng gần nhất là nguồn tốt nhất để ước tính số giờ GPU cần.
3. Tính khả năng chia sẻ: nhiều phòng ban dùng chung một cụm theo quota thường cho U cao hơn mỗi nhóm một máy riêng. Bài chia sẻ máy chủ GPU cho nhiều phòng ban mô tả cách làm.
4. Trừ thời gian bảo trì và dự phòng tăng trưởng: nên lấy U kế hoạch thấp hơn U lý thuyết.

6. Các yếu tố ngoài chi phí khi chọn mua hay thuê máy chủ GPU

TCO cho biết phương án nào rẻ hơn trên mỗi giờ GPU, nhưng quyết định thường còn phụ thuộc các yếu tố khác. Bảng dưới đây giúp ghi nhận chúng cùng lúc với bảng tính.

Phòng máy là điều kiện cần kiểm tra sớm: máy HGX nhiều kW có thể vượt công suất rack hiện có. Bài làm mát lỏng DLC cho máy chủ GPU trình bày khi nào cần làm mát lỏng; theo Supermicro, giải pháp DLC của hãng nhắm mức PUE dưới 1,1, giúp giảm phần điện cho làm mát trong công thức TCO.

7. Quy trình 5 bước lập TCO và mô hình kết hợp

Nhiều doanh nghiệp không chọn một trong hai mà kết hợp: phần tải nền ổn định chạy trên máy chủ GPU tại chỗ, phần thử nghiệm và đỉnh tải chạy trên GPU thuê (Hình 4). Quy trình dưới đây giúp xác định đường ranh giới đó.

1. Liệt kê tải AI trong 12–36 tháng tới, mỗi tải ghi số GPU, giờ chạy và yêu cầu về dữ liệu.
2. Sizing loại GPU, dung lượng bộ nhớ GPU, số GPU và mạng; nếu lên cụm nhiều máy, xem bài mạng cho cụm máy chủ GPU.
3. Điền hạng mục của hai phía theo bảng ở mục 2 và 3, cùng số năm và cùng năng lực.
4. Tính U* và độ nhạy với các giả định về U, điện, PUE và hình thức thuê.
5. PoC với mô hình và dữ liệu gần thực tế để đo thông lượng thật, rồi chốt phân chia tải.

8. Giải pháp tham chiếu: lập TCO và mua máy chủ GPU Supermicro cùng CSC

CSC Distribution là nhà phân phối giá trị gia tăng (VAD) trong các lĩnh vực AI, Cloud và Data. Với bài toán mua hay thuê, CSC hỗ trợ lập bảng TCO trên số liệu của doanh nghiệp, sizing cấu hình và PoC trước khi đầu tư.