Lightbits tối ưu tác vụ container với shared storage trên Supermicro

Lightbits cho biết họ đã chứng minh hiệu năng vượt trội của giải pháp shared block storage dạng disaggregated virtual SAN, được truy cập thông qua NVMe/TCP, trong một thử nghiệm benchmark sử dụng phần cứng máy chủ Supermicro. Giải pháp này có thể triển khai cả on-premises hoặc trên các nền tảng cloud như Azure, AWS, hoặc Oracle Cloud. Trong thử nghiệm này, Lightbits được triển khai on-prem trong máy chủ Supermicro CloudDC A+ Server AS-1116CS-TN.

Hai đơn vị thực hiện benchmark đã xây dựng một kiến trúc tham chiếu (reference architecture) mô tả cách triển khai hệ thống Kubernetes hiệu năng cao và có khả năng mở rộng, sử dụng Lightbits kết hợp cùng Supermicro.

Kam Eshghi, đồng sáng lập kiêm Giám đốc chiến lược của Lightbits, cho biết:
Hiệu năng vượt trội đã được xác thực trong các thử nghiệm chung của chúng tôi, kết hợp cùng kiến trúc tham chiếu mới dành cho Kubernetes, mang đến cho khách hàng một lộ trình hiện đại hóa hạ tầng dữ liệu đầy mạnh mẽ, linh hoạt và tiết kiệm chi phí.

Lawrence Lam, Phó Chủ tịch phụ trách Giải pháp và Công nghệ tại Supermicro, chia sẻ:
“Chúng tôi đã xác thực dòng máy chủ H14 với Lightbits storage và công bố kiến trúc tham chiếu cho thấy sự kết hợp này mang lại những bước tiến đáng kể về hiệu suất I/O, độ phản hồi thấp và hiệu quả phần cứng. Giải pháp này cung cấp hiệu năng shared block storage cao nhất cho các workload đòi hỏi xử lý giao dịch nhanh chóng và các tác vụ chuyên sâu khác.”

Cấu hình benchmark bao gồm:

• 1 × CPU AMD EPYC 9575F (64 nhân, 128 luồng)

• 768 GB RAM DDR5 (tốc độ 6400 MT/s)

• Card mạng Mellanox MT2910 ConnectX-7 (single instance)

• 8 × ổ SSD NVMe Samsung 3.84TB (PM1743) mỗi máy chủ

• Hệ điều hành: Rocky Linux 9.4

Kết quả benchmark:

• 3.6 triệu IOPS cho 4K Random Read – lý tưởng cho các ứng dụng yêu cầu hiệu năng cao như nền tảng giao dịch tài chính, phân tích thời gian thực.

• 1.6 triệu IOPS cho 4K Random Write – cần thiết cho các tác vụ ghi log, ghi nhật ký, và cập nhật dữ liệu thay đổi liên tục.

• 54.7 GBps cho 128K Sequential Read – phù hợp với các workload cần truyền tải dữ liệu lớn như huấn luyện AI/ML, render video, và mô phỏng khoa học.

• 16.7 GBps cho 128K Sequential Write – dành cho ứng dụng tạo ra dòng dữ liệu tuần tự lớn như pipeline thu thập dữ liệu hoặc kho dữ liệu.

Máy chủ 1U Supermicro CloudDC A+ Server hỗ trợ PCIe Gen 5 và có tám khay ổ đĩa hot-swap NVMe SATA/SAS. Ngoài ra, nó có thể hỗ trợ tối đa tám ổ M.2 NVMe PCIe Gen 4 (không phải Gen 5), với tổng dung lượng tối đa 30.4 TB.

Tích hợp với Kubernetes

Lightbits và Supermicro cho biết kiến trúc tham chiếu của họ có thể “tích hợp liền mạch Lightbits storage vào các cụm Kubernetes hiện có mà không cần phải tái cấu trúc nhiều”, đồng thời cung cấp một lộ trình nâng cấp rõ ràng lên giải pháp shared block storage hiệu năng cao, định hướng phần mềm cho các ứng dụng container hóa và máy ảo KubeVirt.

Điều này ám chỉ rằng vẫn có thể cần điều chỉnh kiến trúc phần nào. Tuy nhiên, khách hàng sẽ nhận được một hệ thống turnkey được tối ưu hóa, giúp giảm độ phức tạp khi triển khai và tối đa hóa hiệu năng từ ngày đầu tiên, phù hợp với nhiều tình huống sử dụng như: nền tảng giao dịch tài chính, phân tích thời gian thực, huấn luyện AI/ML, thương mại điện tử, pipeline thu thập dữ liệu, lưu trữ dữ liệu, và mô phỏng khoa học.

Cấu hình triển khai kiến trúc tham chiếu

Tổng cộng có 6 máy chủ vật lý được sử dụng:

• 3 máy chạy Lightbits storage node

• 3 máy còn lại cấu hình làm Kubernetes control-plane và worker node

Từ trang đăng ký nhận tài liệu reference architecture, chúng tôi phát hiện rằng kiến trúc này sử dụng cả Ceph và Lightbits, hai giải pháp phần mềm lưu trữ block.

Trong tài liệu, có ghi rõ:
“Ceph cung cấp giải pháp lưu trữ có tính đàn hồi và khả năng mở rộng cao, phù hợp với các ứng dụng cần lưu trữ object hoặc file truyền thống… Đồng thời, Lightbits mang đến một lớp lưu trữ định hướng phần mềm hiệu năng cao, tối ưu cho NVMe/TCP, cung cấp khả năng lưu trữ block với độ trễ thấp và băng thông cao.”

=> Có thể hiểu, Lightbits sẽ bổ sung hoặc thay thế chức năng lưu trữ block mà trước đây thường do Ceph đảm nhận, tùy vào yêu cầu workload cụ thể.

Ghi chú thêm

Chúng tôi cũng biết được rằng còn có một phiên bản kiến trúc tham chiếu thứ hai sử dụng nền tảng AMD. Một đại diện của Lightbits cho biết:

“Chúng tôi đã xác thực Lightbits trên cả nền tảng AMD và Intel để chứng minh tính linh hoạt của phần mềm trên nhiều kiến trúc phần cứng khác nhau.”

• AMD (H14): tập trung vào cấu hình socket đơn, có mật độ nhân cao và hiệu năng/cost tối ưu cho các kịch bản cần hiệu suất cao.

• Intel (K8): lựa chọn dual-socket, phù hợp với đa số môi trường doanh nghiệp do khả năng tương thích đa dạng và hiệu suất cân bằng.

Về việc sử dụng cả Ceph và Lightbits, họ nói thêm:
“Việc sử dụng kết hợp Ceph và Lightbits nhằm phục vụ nhu cầu lưu trữ bổ trợ trong các triển khai Kubernetes.”

• Ceph: được thiết kế cho lưu trữ phân tán có khả năng mở rộng cao, phù hợp với workload không quá nhạy với độ trễ, như lưu trữ object, archive và dữ liệu quy mô lớn.

• Lightbits: cung cấp block storage hiệu năng cao, độ trễ thấp, lý tưởng cho các workload Kubernetes yêu cầu cao như cơ sở dữ liệu giao dịch và phân tích thời gian thực.

“Việc triển khai cả hai giúp tạo ra một giải pháp lưu trữ toàn diện, đáp ứng cả nhu cầu về dung lượng và hiệu năng trong môi trường Kubernetes.”

Tìm hiểu thêm!