Lưu trữ cho AI với Infortrend EonStor GS 5000U: chất lượng và chi phí tối ưu
Lưu trữ cho AI • Infortrend • EonStor GS 5000U
Lưu trữ cho AI không chỉ cần nhanh: dữ liệu phải tới GPU kịp lúc, hệ thống phải chạy liên tục, và chi phí phải còn hợp lý khi dữ liệu tăng lên hàng petabyte. Bài viết phân tích cách Infortrend EonStor GS 5000U đáp ứng ba yêu cầu này: NVMe-oF và GPUDirect Storage cho cụm GPU, dự phòng nhiều lớp, và phân tầng tự động, mở rộng theo nhu cầu để tối ưu chi phí.
1. Lưu trữ cho AI cần gì: ba loại tải, ba kiểu I/O
GPU chỉ tạo ra giá trị khi luôn có dữ liệu để xử lý; lưu trữ chậm khiến phần đầu tư lớn nhất của hạ tầng AI bị lãng phí. Theo Infortrend, mỗi loại tải AI đặt ra yêu cầu I/O khác nhau (Hình 1):
| Loại tải | Yêu cầu chính với lưu trữ | Ví dụ ứng dụng |
|---|---|---|
| Huấn luyện mô hình nền | Throughput duy trì cao nhất cho nhiều node, nhiều GPU; chịu được các đợt ghi dồn khi lưu checkpoint thường xuyên | Mô hình chuyên ngành cho tài chính, y tế, dược phẩm |
| Suy luận, RAG | Rất nhạy với độ trễ; cần độ trễ cực thấp, IOPS ngẫu nhiên cao, nạp mô hình tức thì khi có nhiều yêu cầu đồng thời | Chatbot nội bộ, tóm tắt tài liệu, phân loại ảnh thời gian thực |
| Fine-tune | Đọc ghi ngẫu nhiên ổn định, truy cập thường xuyên mô hình gốc và checkpoint | Trợ lý AI riêng của doanh nghiệp, phát hiện lỗi trên dây chuyền, mô hình nhẹ chạy ở edge |
Vì đọc và ghi diễn ra đồng thời, khi đánh giá lưu trữ cho AI cần nhìn cùng lúc throughput, IOPS ngẫu nhiên và độ trễ, thay vì chỉ dung lượng. Với tải suy luận, KV cache còn tạo thêm một tầng dữ liệu riêng, xem bài phân tầng lưu trữ KV cache cho suy luận AI.
2. Infortrend EonStor GS 5000U: kiến trúc lưu trữ cho cụm GPU
EonStor GS 5000U là dòng unified storage U.2 NVMe SSD dạng hybrid flash, được Infortrend giới thiệu qua eDM tháng 11/2024 cho AI và HPC. Trang sản phẩm mô tả nền tảng dùng bộ xử lý Intel Xeon 6 và ổ PCIe 5.0 NVMe SSD. Theo trang giải pháp AI của Infortrend, dòng máy này đạt:
Throughput đọc
Kết nối 200GbE, để GPU không thiếu dữ liệu khi chạy nhiều node.
IOPS
Cho truy cập ngẫu nhiên của suy luận, RAG, fine-tune.
Độ trễ
Với NVMe-oF, giữ chuỗi xử lý ở mức mili giây.
Hai công nghệ tạo nên đường dữ liệu nhanh là NVMe over Fabrics (NVMe-oF) và GPUDirect Storage (GDS). NVMe-oF đưa giao thức NVMe qua mạng tốc độ cao; GDS cho phép dữ liệu đi từ mạng thẳng vào bộ nhớ GPU, bỏ qua bước chép qua CPU và RAM hệ thống (Hình 2). Theo Infortrend, cách làm này giảm độ trễ, giảm tải cho CPU và hạn chế tình trạng huấn luyện bị dừng chờ ghi checkpoint. Kết nối giữa lưu trữ và các máy chủ GPU cũng cần được thiết kế đúng, xem bài mạng cho cụm máy chủ GPU.
Về phần mềm, Infortrend nêu bốn nhóm tính năng thiết kế riêng cho lưu trữ AI: tương thích POSIX để tích hợp với hệ thống file song song như Lustre; dung lỗi nhiều lớp; phục hồi liên site; và quản lý vòng đời dữ liệu với phân tầng tự động. Với tải cần đọc song song quy mô lớn, Infortrend còn có dòng parallel file storage EonStor GSx; theo trang sản phẩm, GSx 5000U đạt 43 GB/s đọc và 16,5 GB/s ghi trên một máy.
3. Chất lượng: lưu trữ cho AI phải chạy liên tục và không mất dữ liệu
Một đợt huấn luyện có thể kéo dài nhiều ngày; một hệ thống RAG phục vụ hàng trăm nhân viên trong giờ làm việc. Lỗi lưu trữ lúc này không chỉ làm mất dữ liệu mà còn làm dừng cả cụm GPU. Theo Infortrend, GS 5000U được thiết kế với nhiều lớp bảo vệ:
- Phần cứng dự phòng toàn phần: controller, quạt và nguồn đều dự phòng; kiến trúc HA hỗ trợ chuyển đổi dự phòng ở cấp site. Infortrend nêu mục tiêu không mất dữ liệu và thời gian gián đoạn gần bằng 0.
- Dung lỗi nhiều lớp: RAID tích hợp, snapshot cục bộ, thuật toán ngăn nhiều SSD hỏng cùng lúc và cảnh báo trước khi ổ hỏng.
- Phục hồi liên site: nhân bản đồng bộ và bất đồng bộ sang site khác (Remote Replication), tích hợp cloud qua EonCloud Gateway; Infortrend nêu khả năng phục hồi ở mức giây, RTO dưới một giây sau sự cố.
Chất lượng còn đến từ kinh nghiệm. Theo trang lịch sử của Infortrend, hãng xuất xưởng những bộ điều khiển RAID EISA-to-SCSI đầu tiên của hãng năm 1993, ra mắt thiết kế controller dự phòng năm 2001 và đạt chứng nhận ISO 9001, ISO 14001; dòng SAN EonStor DS thế hệ trước từng đạt kết quả cao trong bảng SPC-1 về IOPS trên mỗi đô la (2015) và SPC-2 về giá trên hiệu năng (2017). Hơn 30 năm tập trung vào lưu trữ là nền tảng cho các tính năng bảo vệ dữ liệu nêu trên. Câu chuyện của Infortrend tại Việt Nam được kể trong bài Infortrend tại Việt Nam: hơn 30 năm và câu chuyện 15 năm.
4. Chi phí tối ưu: bốn cơ chế giúp lưu trữ cho AI không đội giá
Infortrend định vị GS 5000U là hiệu năng cao với mức đầu tư ban đầu hiệu quả về chi phí. Dưới đây là các cơ chế cụ thể theo những gì hãng công bố.
4.1. Phân tầng tự động: hiệu năng gần all-flash, dung lượng lớn nằm trên HDD
Dữ liệu AI có vòng đời rõ ràng: dữ liệu đang huấn luyện và mô hình đang phục vụ cần tốc độ cao, còn dataset cũ, ảnh lưu trữ và checkpoint xa hiếm khi được đọc lại. Theo trang giải pháp AI, GS 5000U phân tầng tự động trên tối đa bốn lớp phương tiện lưu trữ; thuật toán tự di chuyển dữ liệu theo tần suất truy cập (Hình 3). Trang tính năng Automated Storage Tiering mô tả ba tầng SSD, HDD SAS và HDD SATA, có thể cài đặt trong khoảng năm phút qua giao diện, và cho phép đặt lịch di chuyển dữ liệu ngoài giờ cao điểm. Theo Infortrend, phân tầng cho hiệu năng gần với all-flash nhưng chi phí lưu trữ thấp hơn, trong khi dùng toàn bộ SSD cho mọi dữ liệu dễ dẫn tới mức đầu tư tốn kém.
Infortrend công bố một phép đo trên EonStor GS 3040 G3: cấu hình 28 HDD cộng 12 SSD có phân tầng tự động đọc file đang dùng nhanh hơn 350% so với cấu hình 40 HDD, trong tải chia sẻ file doanh nghiệp. Đây là phép đo cho tải file chung, không phải tải AI, nhưng cho thấy nguyên lý: chỉ một phần nhỏ dung lượng là SSD vẫn đem lại phần lớn lợi ích về tốc độ.
4.2. Mở rộng theo nhu cầu bằng JBOF và JBOD
Theo Infortrend, GS 5000U mở rộng bằng hai loại khung: JBOF NVMe hiệu năng cao cho dữ liệu nóng và JBOD mật độ cao cho dữ liệu lưu trữ lâu dài. Doanh nghiệp có thể bắt đầu với một máy đủ cho nhu cầu hiện tại, rồi thêm khung khi dữ liệu tăng, thay vì mua trước toàn bộ dung lượng của nhiều năm. Kịch bản fine-tune của Infortrend nêu khả năng gắn tối đa ba khung JBOF NVMe để đạt dung lượng cấp petabyte.
| Thành phần | Cấu hình | Vai trò |
|---|---|---|
| Yêu cầu | Đọc 140 GB/s; tương thích Lustre; 4 PB cho dữ liệu lạnh | Đọc ghi ngẫu nhiên cường độ cao, GPU không phải chờ |
| Lưu trữ hiệu năng | 3 × GS 5000U, mỗi máy 4 cổng 100GbE; 72 × SSD U.2 NVMe 15,68 TB | Tầng nóng; theo Infortrend, ba máy đạt mức 140 GB/s yêu cầu |
| Lưu trữ dung lượng | 3 × JB 3090 (JBOD 4U, 90 khay); 270 × HDD 18 TB | Tầng dữ liệu lạnh, tới 4.860 TB dung lượng thô |
Theo tính toán của CSC từ cấu hình Infortrend công bố: phần NVMe chỉ khoảng 1.129 TB trên tổng 5.989 TB thô (khoảng 19%), phần còn lại là HDD. Dung lượng đắt tiền được dành cho đúng phần dữ liệu cần tốc độ.
4.3. GPU luôn có dữ liệu: tối ưu chi phí ở phía tính toán
Theo phân tích của CSC, GPU thường là khoản đầu tư lớn nhất của cụm AI. Lưu trữ đủ nhanh giúp GPU không đứng chờ dữ liệu hay chờ ghi checkpoint, tức tăng tỷ lệ sử dụng GPU mà không phải mua thêm GPU.
4.4. Một hệ thống cho nhiều loại tải
GS 5000U là unified storage, phục vụ được huấn luyện, suy luận và fine-tune như các kịch bản ở mục 5. Dùng một nền tảng và một bộ công cụ quản trị (EonOne) cho nhiều tải giúp giảm số hệ thống phải duy trì.
5. Ba kịch bản lưu trữ cho AI Infortrend công bố
Trang giải pháp AI của Infortrend mô tả ba kịch bản tham chiếu. Đây là yêu cầu bài toán và cách hãng đề xuất đáp ứng, không phải số đo trước và sau của khách hàng cụ thể:
| Kịch bản | Yêu cầu | GS 5000U đáp ứng |
|---|---|---|
| Suy luận, sản xuất Doanh nghiệp sản xuất lớn | Kiểm lỗi bằng thị giác máy trên 4 dây chuyền, 30 khung hình/giây không mất khung, độ trễ mili giây; lưu toàn bộ ảnh để huấn luyện lại | Đọc 125 GB/s, độ trễ 0,3 ms; ghi duy trì 40 GB/s không ảnh hưởng suy luận; vòng đời dữ liệu cấp petabyte bằng JBOD và phân tầng |
| RAG, viễn thông Nhà mạng lớn | Trung tâm chăm sóc khách hàng hơn 400 nhân viên, kho tri thức 15 TB, phản hồi dưới một giây khi tải đồng thời cao | Độ trễ 0,3 ms; 2,4 triệu IOPS cho truy vấn đồng thời; NVMe-oF và GDS rút ngắn đường nạp mô hình vào GPU |
| Fine-tune, tài chính Tổ chức tài chính | Fine-tune mô hình 8 tỷ tham số trên cụm 16 GPU H100 cho dịch vụ tư vấn đầu tư; cần 120 GB/s nạp dữ liệu, checkpoint 15 phút một lần | Tới 125 GB/s; ghi 40 GB/s, 2,4 triệu IOPS; checkpoint nhiều GB ghi xong trong vài giây; tới 3 khung JBOF NVMe |
Cùng một dòng thiết bị có thể cấu hình thiên về throughput, về độ trễ hay cân bằng đọc ghi; số máy, loại ổ và tỷ lệ tầng nóng, tầng lạnh nên được tính từ tải thực tế.
6. Thiết kế lưu trữ cho AI với Infortrend cùng CSC
CSC là nhà phân phối giá trị gia tăng (VAD) trong các lĩnh vực AI, Cloud và Data, đồng thời là Nhà phân phối chính thức Infortrend tại Việt Nam. Một dự án lưu trữ cho AI thường đi qua năm bước:
- Đo nhu cầu I/O: số GPU, loại tải, kích thước và chu kỳ checkpoint, số người dùng đồng thời.
- Sizing theo tầng: throughput, IOPS, dung lượng NVMe và HDD, kế hoạch tăng trưởng 2–3 năm.
- Thiết kế đường dữ liệu: 100GbE hay 200GbE, NVMe-oF, GPUDirect Storage, có cần Lustre hay không.
- PoC với dữ liệu và mô hình gần thực tế trước khi chốt cấu hình.
- Triển khai và hỗ trợ: phân tầng, snapshot, nhân bản liên site, giám sát.
Tìm hiểu thêm dải sản phẩm tại trang Infortrend Việt Nam, và bức tranh tổng thể các dòng EonStor trong bài Infortrend: từ enterprise storage đến hạ tầng dữ liệu cho kỷ nguyên AI.
7. Câu hỏi thường gặp về lưu trữ cho AI với Infortrend
Lưu trữ cho AI khác lưu trữ doanh nghiệp thông thường ở đâu?
Lưu trữ cho AI phải cùng lúc cấp throughput cao cho huấn luyện, độ trễ thấp và IOPS cao cho suy luận, RAG, và chịu được các đợt ghi checkpoint, để GPU không phải chờ dữ liệu.
Infortrend EonStor GS 5000U đạt hiệu năng bao nhiêu?
Theo trang giải pháp AI của Infortrend, dòng GS 5000U đạt tới 125 GB/s throughput đọc, 2,4 triệu IOPS và độ trễ 0,3 ms với NVMe-oF trên 200GbE. Tài liệu eDM năm 2024 mô tả một máy 2U, 24 khay đạt tới 50 GB/s và 1,3 triệu IOPS qua 100GbE. Hiệu năng thực tế cần được kiểm chứng bằng PoC.
Infortrend giúp tối ưu chi phí lưu trữ AI bằng cách nào?
Bằng phân tầng tự động (dữ liệu nóng trên SSD, dữ liệu ít dùng trên HDD), mở rộng theo nhu cầu bằng JBOF NVMe và JBOD mật độ cao, và giữ GPU luôn có dữ liệu để tăng tỷ lệ sử dụng GPU.
GS 5000U có dùng được với Lustre và GPUDirect Storage không?
Theo Infortrend, GS 5000U tương thích POSIX để tích hợp với hệ thống file song song như Lustre, và hỗ trợ NVMe-oF cùng GPUDirect Storage để dữ liệu đi thẳng vào bộ nhớ GPU. Khi triển khai cần kiểm tra hỗ trợ GDS ở máy chủ GPU và phần mềm.
CSC hỗ trợ gì khi triển khai lưu trữ AI Infortrend?
Là Nhà phân phối chính thức Infortrend tại Việt Nam, CSC hỗ trợ sizing tầng nóng và tầng lạnh, thiết kế mạng NVMe-oF, PoC, triển khai và hỗ trợ sau bán hàng, cho cả khách hàng và đối tác.
