Load Balancing on Phạm Duy Tùng Machine Learning Blog https://www.phamduytung.com/tags/load-balancing/ Recent content in Load Balancing on Phạm Duy Tùng Machine Learning Blog Hugo vi-VN Copyright © 2016-{year} Phạm Duy Tùng. All Rights Reserved. Tue, 18 Aug 2026 00:00:00 +0700 6,12 tỷ request LLM đã nói gì về Cache, Load Balancing và cách chúng ta đang phục vụ AI? https://www.phamduytung.com/blog/2026-08-18-llm-serving-cache-load-balancing/ Tue, 18 Aug 2026 00:00:00 +0700 https://www.phamduytung.com/blog/2026-08-18-llm-serving-cache-load-balancing/ Phân tích paper A Year in LLM Serving từ hơn 6 tỷ request production: workload LLM không đứng yên, request count có thể đánh lừa, prefix cache mang tính thời gian rất mạnh và cache không thể được tối ưu tách rời khỏi load balancing.