Cloudian phá vỡ rào cản lưu trữ AI với GPU-to-Object Storage

Như một bước tiến mang tính đột phá cho hạ tầng AI, Cloudian đã loại bỏ các nút thắt truyền thống giữa object storage và GPU computing. Hợp tác chặt chẽ với NVIDIA, Cloudian đã phát triển giải pháp đầu tiên trong ngành GPUDirect for Object Storage—một đột phá cho phép GPU truy cập trực tiếp vào dữ liệu trong object storage qua RDMA, hoàn toàn bỏ qua các giới hạn của CPU và giao thức HTTP.

GPUDirect for Object Storage

Khi các mô hình AI phát triển nhanh chóng và nhu cầu lưu trữ tăng cao—các nhà phân tích dự báo mức tăng gấp 10 lần trong thập kỷ tới—hạ tầng truyền thống đang dần trở nên quá tải. Giải pháp cách mạng của Cloudian mang lại:
• Đầu tiên trong ngành: Tích hợp NVIDIA GPUDirect for Object Storage
• Tốc độ chưa từng có: Duy trì băng thông trên 200 GB/s (nhanh hơn 3 lần so với flash không sử dụng RDMA)
• Tối ưu hóa tài nguyên: Giảm 45% việc sử dụng CPU của máy chủ GPU
Nhưng câu chuyện không chỉ dừng lại ở các thông số về hiệu suất và hiệu quả—mà là thay đổi cách các tổ chức xây dựng hạ tầng AI.

AI Thúc Đẩy Các Thách Thức Lưu Trữ Mới

Các luồng công việc AI ngày càng phức tạp, bao gồm nhiều bước từ việc thu thập dữ liệu thô, huấn luyện đến triển khai. Cách tiếp cận truyền thống yêu cầu các tổ chức duy trì nhiều lớp lưu trữ khác nhau và phải di chuyển dữ liệu liên tục giữa chúng:
• Kho dữ liệu thô chứa hàng petabyte thông tin
• Hệ thống file hiệu suất cao cho việc huấn luyện AI
• Lưu trữ cho các checkpoints và mô hình đã huấn luyện
• Cơ sở dữ liệu vector phục vụ inference
• Nhật ký truy vấn để tuân thủ quy định
Mỗi lớp lưu trữ này đều làm tăng chi phí, sự phức tạp và chậm trễ cho các luồng công việc AI.

Cloudian Hợp Nhất Dữ Liệu AI

Dữ liệu AI giờ đây có thể được hợp nhất qua Cloudian AI data lake, cung cấp một kho lưu trữ trung tâm tương thích S3 kết nối liền mạch với các khung AI và học máy phổ biến. Nhờ API S3 tích hợp, Cloudian hỗ trợ các công cụ quen thuộc như:
• TensorFlow cho học sâu
• PyTorch cho nghiên cứu và phát triển học máy
• Apache Spark cho xử lý dữ liệu quy mô lớn
Nền tảng này cũng hỗ trợ truyền dữ liệu qua Kafka và phân tích hiệu năng cao thông qua Apache Arrow, giúp các tổ chức xây dựng luồng công việc AI từ đầu đến cuối mà vẫn giữ dữ liệu trong một môi trường lưu trữ hợp nhất.

Loại Bỏ Lớp File Đắt Đỏ

Việc tích hợp công nghệ NVIDIA GPUDirect Storage của Cloudian mang lại sự đơn giản hóa cơ bản: truy cập trực tiếp dữ liệu từ object storage đến bộ nhớ GPU.
Điều này đồng nghĩa với:
• Loại bỏ các lớp lưu trữ file đắt đỏ
• Không còn phải di chuyển dữ liệu phức tạp giữa các tầng lưu trữ
• Một data lake hợp nhất duy nhất cho toàn bộ luồng công việc AI
• Truy cập dữ liệu hiệu năng cao trực tiếp cho GPU

Cách Hoạt Động

Đổi mới kỹ thuật tập trung vào việc tạo ra đường dữ liệu trực tiếp từ object storage đến GPU:
1. Yêu cầu dữ liệu được khởi tạo qua S3 API
2. Dữ liệu di chuyển trực tiếp đến bộ nhớ GPU mà không qua hệ thống bộ nhớ và CPU
3. RDMA cho phép truyền song song từ nhiều node Cloudian
Note: Không yêu cầu chỉnh sửa cấp độ kernel, đảm bảo tính bảo mật

Tại Sao Chọn Object Storage Cho AI?

Khi các mô hình AI ngày càng phức tạp (xem xét bước nhảy từ GPT-3 đến GPT-4), các tổ chức cần hạ tầng lưu trữ có thể mở rộng tương ứng. Object storage mang lại nhiều lợi thế:
• Khả năng mở rộng không giới hạn đến cấp độ exabyte
• Bảo mật doanh nghiệp cho dữ liệu huấn luyện nhạy cảm
• Hiệu quả kinh tế vượt trội ở quy mô lớn
• Quản lý đơn giản với một không gian tên duy nhất
• Hỗ trợ metadata phong phú để cải thiện khả năng khám phá dữ liệu

Tác Động Trong Thực Tế

Đột phá này giúp đơn giản hóa và giảm chi phí, làm cho các mô hình quy mô lớn trở nên khả thi và kinh tế hơn. Điều này đặc biệt quan trọng với các lĩnh vực như:
• Dịch vụ tài chính xử lý dữ liệu thị trường
• Y tế phân tích bộ gen
• Phát triển xe tự hành
• Tối ưu hóa sản xuất
• Hệ thống gợi ý bán lẻ
• Bất kì tổ chức nào triển khai AI hoặc RAG(Retrieval-Augmented Generation)

Đón Đầu Hạ Tầng AI Tương Lai

Khi AI tiếp tục thay đổi các ngành công nghiệp, các quyết định về kiến trúc lưu trữ hôm nay sẽ ảnh hưởng đến tổ chức trong nhiều năm tới. Object storage không chỉ giải quyết các thách thức lưu trữ AI hiện tại mà còn tạo nền tảng cho những đổi mới trong tương lai.
Liên hệ với chúng tôi để dùng thử miễn phí ngay hôm nay và tìm hiểu cách chuyển đổi hạ tầng AI với GPUDirect for Object Storage.