Máy chủ Supermicro cho Proxmox VE và Ceph: chọn thế nào

1. Ba vai trò node trong một cụm Proxmox VE và Ceph

Trước khi xem catalog, hãy tách cụm thành các vai trò. Mỗi vai trò cần một tỷ lệ tài nguyên khác nhau, nên thường hợp với một dòng máy chủ Supermicro khác nhau.

Hình 1 là kiến trúc tham chiếu bài viết dùng xuyên suốt: bốn node HCI, ba mạng tách riêng theo khuyến nghị của Proxmox, và một node Proxmox Backup Server (PBS) đặt riêng.

2. Sizing CPU và RAM cho một node Proxmox VE và Ceph

Một sai lầm hay gặp khi chọn máy chủ cho Proxmox là chỉ cộng tài nguyên của VM. Trên node HCI, Ceph cũng là một tải lớn. Tài liệu Proxmox VE khuyến nghị dành ít nhất một nhân (hoặc luồng) CPU cho mỗi dịch vụ Ceph, và mỗi OSD trên NVMe hiệu năng cao có thể dùng 4–6 luồng. OSD mặc định dùng 4 GiB RAM, nhưng nên cấp ít nhất 8 GiB cho mỗi OSD để có hiệu năng tốt.

Chia cho “số node còn lại” là để cụm vẫn chạy đủ VM khi một node hỏng hoặc đang bảo trì (thiết kế N+1). Ví dụ dưới đây dùng giả định: 120 VM, trung bình 4 vCPU và 16 GB RAM mỗi VM, overcommit CPU 3:1, cụm 4 node, mỗi node 6 OSD NVMe.

Phần dư khoảng 25% luồng CPU và 60 GB RAM (quy đổi GiB sang GB gần đúng) (Hình 2) không lãng phí: Ceph dùng thêm CPU và RAM khi phục hồi dữ liệu sau sự cố, đúng lúc các node còn lại phải gánh thêm VM.

Với cụm 4 node × 6 ổ NVMe 7,68 TB (giả định), dung lượng thô khoảng 184 TB; với 3 bản sao còn khoảng 61 TB. Để cụm tự phục hồi đủ 3 bản sao khi mất một node và không chạm ngưỡng nearfull, nên lên kế hoạch dùng khoảng 39 TB (khoảng 35,6 TiB, đơn vị Ceph hiển thị). Cách tính chi tiết có trong bài thiết kế cụm Proxmox Ceph.

3. Hyper, BigTwin hay GrandTwin: chọn máy chủ Supermicro cho Proxmox

Ba dòng máy chủ Supermicro hay dùng cho cụm Proxmox VE khác nhau chủ yếu ở mật độ node, số khay NVMe và số khe mở rộng của mỗi node. Bảng dưới lấy thông số từ trang sản phẩm Supermicro.

Hyper 1U/2U: lựa chọn mặc định cho node HCI

Dòng Hyper cho mỗi node khung máy, nguồn và quạt riêng, đủ khay NVMe và khe PCIe để tách card mạng Ceph với card mạng VM. AS-1126HS-TN với 24 khe DIMM dễ đạt 768 GB như ví dụ ở mục 2 mà vẫn dùng thanh RAM dung lượng phổ biến. Nếu tải không cần hai CPU, bản một socket Intel Xeon 6 cùng dòng Hyper (SYS-112H-TN) giảm số socket cần mua subscription Proxmox VE, vốn tính theo socket CPU. Khi cần nhiều ổ hơn hoặc thêm GPU cho VM, bản 2U AS-2126HS-TN có tùy chọn tới 24 khay 2,5″ hoặc 4 khe PCIe 5.0 x16 double-width (cần linh kiện bổ sung), hỗ trợ tới 3 GPU double-width.

BigTwin: bốn node HCI trong 2U

SYS-222BT-HNR đặt bốn node hai CPU vào 2U, mỗi node 6 khay NVMe PCIe 5.0, hai khe PCIe và một AIOM: đủ cho một node HCI 6 OSD như ví dụ. Mỗi node có 16 khe DIMM, nên để đạt 768 GB cần 16 thanh 48 GB thay vì 24 thanh 32 GB như trên Hyper. Bốn node dùng chung khung máy và bộ nguồn 2× 3600 W dự phòng 1+1, nên cần khảo sát công suất rack trước. Nếu chỉ dùng một khung BigTwin cho cả cụm, sự cố ở khung máy có thể ảnh hưởng mọi node; cụm production nên trải trên ít nhất hai khung hoặc kết hợp với máy Hyper.

GrandTwin: node tính toán mật độ cao

AS-2116GT-HNTF có một CPU EPYC tới 192 nhân mỗi node nhưng chỉ 4 khay ổ và một khe AIOM. Vì mọi lưu lượng phải đi qua một card OCP, dòng này hợp làm node tính toán dùng storage Ceph của các node HCI, không nên gánh OSD. Khe AIOM và khay ổ của model này cần linh kiện tùy chọn khi đặt cấu hình.

Hình 3 tóm tắt cách chọn nhanh giữa các dòng máy theo hai câu hỏi: có cần mật độ bốn node trong 2U không, và node có giữ ổ Ceph không.

4. Ổ đĩa, HBA và card mạng: chi tiết quyết định hiệu năng Ceph

Tài liệu Proxmox VE nêu rõ ZFS và Ceph không tương thích với RAID controller phần cứng; nên dùng HBA hoặc ổ NVMe nối thẳng. Khi đặt cấu hình máy chủ Supermicro cho Proxmox, hãy chọn backplane và bộ điều khiển ở chế độ HBA, không chọn card RAID.

• Ổ OSD: SSD/NVMe doanh nghiệp có bảo vệ mất điện (PLP). Proxmox khuyến nghị dùng SSD thay HDD trong cụm nhỏ để rút ngắn thời gian phục hồi, mỗi ổ vật lý một OSD, số ổ và dung lượng đều nhau giữa các node.
• Ổ hệ điều hành: dùng 2 khe M.2 làm ZFS mirror cho Proxmox VE, để mọi khay phía trước dành cho OSD.
• Mạng: các model Hyper và Twin ở trên chỉ có cổng 1 GbE cho BMC; mạng dữ liệu đi qua AIOM (OCP 3.0) hoặc card PCIe. Theo Proxmox, mạng Ceph cần ít nhất 10 Gbps dùng riêng, cấu hình hiệu năng cao từ 25 Gbps trở lên, một ổ NVMe đã có thể làm đầy 10 Gbps, và corosync nên có mạng riêng vì nhạy với độ trễ.

Cách tách bốn luồng lưu lượng và cấu hình bond đã có trong bài thiết kế cụm; điều cần nhớ khi chọn máy là đếm đủ khe cho card mạng ngay từ đầu. Ảnh 4 là giao diện quản lý OSD của Proxmox VE, nơi đội vận hành theo dõi trạng thái từng ổ sau khi cụm chạy.

5. Node Proxmox Backup Server trên storage server Supermicro

Sao lưu không nên nằm trên chính cụm Ceph cần bảo vệ. Proxmox Backup Server khuyến nghị CPU từ 4 nhân, RAM tối thiểu 4 GiB cộng thêm ít nhất 1 GiB cho mỗi TiB dung lượng lưu trữ, và ưu tiên storage có IOPS cao. Tài liệu PBS khuyến nghị dùng SSD doanh nghiệp để có kết quả tốt nhất; nếu chấp nhận đánh đổi để dùng HDD cho dung lượng lớn với chi phí thấp hơn, cần thêm bộ đệm metadata, ví dụ ZFS special device dạng mirror.

SSG-522B-ACR12L (2U, 1× Intel Xeon 6) khớp với mô hình đó: 12 khay 3,5″ phía trước cho HDD, 2 khay 2,5″ phía sau (NVMe cần kit tùy chọn) cho special device, 2 khe M.2 cho hệ điều hành, HBA Broadcom 3816 ở chế độ IT phù hợp với ZFS, và 2 cổng 10 GbE sẵn trên bo mạch.

Đặt node PBS ở rack hoặc phòng máy khác cụm chính, và cân nhắc đồng bộ thêm sang một PBS thứ hai hoặc kho lưu trữ đối tượng ngoài site cho dữ liệu cần giữ lâu.

6. Năm lỗi chọn phần cứng hay gặp khi dựng cụm Proxmox Ceph

1. Chọn card RAID thay vì HBA, rồi phải cấu hình từng ổ thành RAID 0 cho Ceph hoặc ZFS.
2. Dùng SSD phổ thông không có PLP làm OSD; độ trễ ghi cao và kém an toàn khi mất điện.
3. Không trừ tài nguyên cho Ceph khi tính số VM trên node, khiến cụm chậm đúng lúc đang phục hồi.
4. Thiếu khe cho card mạng, buộc Ceph, VM và corosync dùng chung một cặp cổng.
5. Trộn node khác cấu hình ổ (số ổ và dung lượng không đều), làm dữ liệu phân bổ lệch và một node thành nút thắt.

7. Giải pháp tham chiếu từ CSC