Triển khai Proxmox VE với Ceph: thiết kế cụm 3 node trở lên

1. Khi nào nên triển khai Proxmox VE với Ceph?

Proxmox VE tích hợp sẵn Ceph: cài, tạo monitor, OSD và pool ngay trên giao diện quản trị hoặc bằng lệnh pveceph. Mỗi node vừa chạy máy ảo vừa góp ổ đĩa vào một kho lưu trữ chung, dữ liệu được sao chép giữa các node. Mô hình này phù hợp khi:

Ngược lại, nếu chỉ có hai máy chủ, hoặc ứng dụng cần độ trễ lưu trữ cực thấp ở mức cơ sở dữ liệu giao dịch lớn, nên cân nhắc thêm phương án storage ngoài (NVMe/TCP, SAN sẵn có) gắn vào Proxmox. Phần còn lại của bài tập trung vào cụm HCI 3 node trở lên.

2. Kiến trúc tham chiếu một cụm Proxmox Ceph

Một cụm HCI điển hình gồm các node giống nhau. Trên mỗi node có máy ảo và container, các OSD (mỗi ổ đĩa một OSD), cùng các dịch vụ Ceph Monitor và Manager. Tài liệu Proxmox khuyến nghị tối thiểu 3 node, nên giống nhau, và ít nhất 12 OSD chia đều giữa các node (Hình 1).

3. Cần bao nhiêu node cho cụm Proxmox Ceph?

Hai con số chi phối thiết kế là quorum của cụm Proxmox và số bản sao của Ceph.

• 3 node là mức tối thiểu cho HA và Ceph. Tài liệu Proxmox yêu cầu ít nhất 3 node để có quorum tin cậy, và ít nhất 3 monitor để Ceph có tính sẵn sàng cao. Với cụm nhỏ và vừa, 3 monitor là đủ.
• Cụm 2 node cần thêm QDevice (một máy nhỏ bên ngoài giữ phiếu thứ ba) để giữ quorum. Proxmox hỗ trợ QDevice cho cụm có số node chẵn và không khuyến nghị dùng cho cụm số node lẻ. Tuy vậy, Ceph với 3 bản sao vẫn cần 3 node chứa dữ liệu, nên cụm 2 node không phải là mô hình HCI Ceph đúng nghĩa.
• 4–5 node trở lên giúp cụm chịu lỗi tốt hơn: khi một node hỏng, dữ liệu còn chỗ để tái tạo đủ 3 bản sao trên các node còn lại. Với cụm 3 node, khi mất một node, cụm vẫn chạy nhưng ở trạng thái thiếu bản sao cho tới khi node quay lại.

4. Thiết kế mạng: tách bốn luồng lưu lượng

Phần lớn sự cố của cụm Proxmox Ceph mà đội hạ tầng gặp phải bắt nguồn từ mạng. Tài liệu Proxmox nêu rõ các nguyên tắc sau:

1. Corosync đi mạng riêng. Proxmox khuyến nghị một NIC vật lý riêng cho lưu lượng cluster, độ trễ giữa các node dưới 5 ms, và đặc biệt không dùng chung mạng cho corosync và storage. Corosync hỗ trợ nhiều link qua Kronosnet, nên cấu hình ít nhất 2 link trên hai mạng vật lý khác nhau; mạng storage chỉ nên là link dự phòng ưu tiên thấp.
2. Ceph cần tối thiểu 10 Gbps dành riêng. Tài liệu Proxmox lưu ý một ổ NVMe hiện đại có thể làm bão hòa 10 Gbps, nên cụm NVMe nên dùng tối thiểu 25 Gbps, và có thể cần 40 Gbps hoặc 100 Gbps trở lên.
3. Tách Ceph public và Ceph cluster. Mạng cluster riêng gánh lưu lượng sao chép và phục hồi giữa các OSD, giảm tải cho mạng public và mạng máy ảo.
4. Mạng máy ảo và migration tách khỏi hai mạng Ceph bằng NIC hoặc VLAN riêng.

Benchmark Ceph chính thức của Proxmox (12/2023, Ceph Reef, SSD nhanh) cho thấy mạng 10 Gbit/s dễ bị quá tải, và 25 Gbit/s cũng có thể trở thành nút cổ chai. Ở 100 Gbit/s, một client đạt tới khoảng 6.000 MiB/s ghi và 7.000 MiB/s đọc. Nếu dùng jumbo frame (MTU 9000), Proxmox khuyên kiểm tra kỹ trên toàn bộ đường đi trước khi đưa vào sử dụng.

5. Phần cứng cho Ceph OSD: CPU, RAM và ổ đĩa

Trong HCI, Ceph dùng chung CPU và RAM với máy ảo, nên phần tài nguyên dành cho Ceph phải được trừ ra trước khi tính sức chứa máy ảo.

Ví dụ: node 2 socket, 64 core, 512 GiB RAM, 4 ổ NVMe. Sau khi dành khoảng 24 thread và 48–64 GiB RAM cho Ceph và hệ điều hành, phần còn lại mới là sức chứa cho máy ảo. Cách tính này giúp tránh tình trạng cụm chạy tốt lúc bình thường nhưng chậm hẳn khi Ceph phục hồi dữ liệu.

6. Tính dung lượng sử dụng thật của cụm Ceph

Pool Ceph trên Proxmox mặc định có size = 3 (3 bản sao) và min_size = 2: mỗi khối dữ liệu nằm trên 3 OSD ở các node khác nhau, và pool vẫn nhận I/O khi còn 2 bản. Proxmox cảnh báo không đặt min_size = 1, vì khi đó I/O vẫn được ghi khi chỉ còn một bản sao duy nhất (Hình 2).

Từ đó, dung lượng sử dụng an toàn được tính theo bốn bước (Hình 3):

Khi gỡ hoặc mất OSD, tài liệu Proxmox khuyên các OSD còn lại phải ở mức thấp hơn nhiều so với ngưỡng nearfull 85%, vì quá trình tái cân bằng có thể làm OSD đầy và chặn I/O, và ở cụm nhỏ việc phục hồi có thể kéo dài. Erasure coding cho phép dùng được nhiều dung lượng hơn, nhưng đổi lại hiệu năng thấp hơn; tài liệu Proxmox dẫn khuyến nghị thận trọng min_size = k + 2 cho pool EC. Với cụm ảo hóa 3–5 node, pool replicated 3 bản sao vẫn là lựa chọn mặc định hợp lý.

7. HA khi một node gặp sự cố

Proxmox HA dùng cơ chế tự fence bằng watchdog. Khi một node rời khỏi quorum, nó không thể làm mới watchdog và sẽ tự khởi động lại sau khi watchdog hết hạn (60 giây). Sau đó, các máy ảo HA được khởi động lại trên node còn quorum. Thời gian phát hiện lỗi và chuyển đổi điển hình khoảng 2 phút (Hình 4).

Từ Proxmox VE 9.0, HA group được thay bằng HA rule: rule node affinity (ưu tiên node chạy máy ảo, mặc định không bắt buộc) và rule resource affinity (giữ các máy ảo chạy cùng nhau hoặc tách nhau, mặc định bắt buộc). Nên dùng rule tách nhau cho các cặp máy ảo dự phòng của nhau, ví dụ hai domain controller hoặc hai node cơ sở dữ liệu.

8. Vận hành và quản trị Proxmox sau triển khai

Thiết kế đúng mới là một nửa của dịch vụ triển khai Proxmox. Nửa còn lại là quản trị Proxmox hằng ngày: cập nhật đồng bộ giữa các node, theo dõi trạng thái Ceph, thay ổ hỏng, kiểm tra sao lưu và có kênh hỗ trợ khi sự cố xảy ra.

Mọi gói đều có quyền truy cập Enterprise Repository với các bản cập nhật đã qua kiểm thử. Theo Proxmox, gói Premium sẽ có hỗ trợ 24/7 từ 19/10/2026 và gói Standard trước cuối năm 2026. Bên cạnh đó:

• Sao lưu: đặt Proxmox Backup Server trên phần cứng tách khỏi cụm Ceph là thực hành tốt, để một sự cố của cụm không kéo theo bản sao lưu. PBS hỗ trợ mã hóa phía client AES-256-GCM.
• Giám sát Ceph: theo dõi trạng thái HEALTH, mức sử dụng từng OSD so với ngưỡng 85%, số PG không ở trạng thái active+clean và độ trễ OSD.
• Bản quyền và cập nhật: tham khảo 10 rủi ro khi không dùng Proxmox license trước khi vận hành production chỉ với kho cộng đồng.

Với doanh nghiệp không có đội chuyên trách Linux và Ceph, managed service Proxmox là cách giảm rủi ro vận hành: CSC hỗ trợ từ khảo sát, thiết kế, triển khai, chuyển đổi máy ảo, tới vận hành và phân phối Proxmox (subscription chính hãng) với tư cách đối tác ủy quyền cao cấp của Proxmox tại Việt Nam.