Phần 1 (Lựa chọn nền tảng chạy mô hình LLM phù hợp trong môi trường on-prem: vLLM hay SGlang) chắc các bạn đọc cũng có thấy chúng tôi sử dụng một số công cụ thể ghép nhiều GPU (hoặc node có GPU) lại với nhau để xử lý các bài toán: RAG, Agentic, Coding trong […]
Read More
vLLM hay SGLang: doanh nghiệp nên chọn engine nào cho Chatbot, RAG và Coder? 2.1 Tải thấp: vLLM tạo cảm giác phản hồi rất nhanh Ở kịch bản c1, vLLM 1N đạt 52.73 tokens/s/user và TTFT khoảng 120ms. Đây là kết quả rất tốt cho demo vì người dùng gần như thấy hệ thống bắt […]
Read More vLLM hay SGLang: doanh nghiệp nên chọn engine nào cho Chatbot, RAG và Coder? Câu hỏi thường gặp: “vLLM hay SGLang tốt hơn?” Câu trả lời đúng không phải là chọn một engine cho mọi tình huống. Benchmark cho thấy vLLM rất mạnh ở tải thấp/single-node, trong khi SGLang nổi bật hơn khi scale-out cho […]
Read More
Trong nhiều năm, Proxmox gắn liền với hình ảnh của cộng đồng kỹ thuật, những người làm Home Lab, phòng lab cá nhân, hoặc các môi trường thử nghiệm nội bộ. Tuy nhiên vài năm trở lại đây, đặc biệt từ 2023–2025, Proxmox đang dần bước ra khỏi “vùng an toàn” của cộng đồng để […]
Read More
Tại Sao Chiến Lược Lưu Trữ Của Bạn Cần Thay Đổi? Trong kỷ nguyên GenAI bùng nổ, các doanh nghiệp thường chỉ tập trung vào sức mạnh tính toán của GPU (như Nvidia B200/H100/A100) mà quên mất một yếu tố then chốt quyết định hiệu suất: Chiến lược dữ liệu. Tại CSC Distribution, khi triển […]
Read More
Value-Added-Distributor