Tối ưu hóa suy luận AI: tái sử dụng KV cache với CacheBlend cho RAG và agent
Tối ưu hóa suy luận AI cho RAG và agent bắt đầu từ việc không bắt GPU tính lại những tài liệu đã xử lý. Bài viết điểm qua các hướng tối ưu suy luận LLM, rồi phân tích CacheBlend (EuroSys 2025, có trong LMCache và Tensormesh): cơ chế, số liệu công bố, giới hạn và hạ tầng cần chuẩn bị.
Read More
