https://www.phamduytung.com/tags/airllm/ Recent content in AirLLM on Phạm Duy Tùng Machine Learning Blog Hugo vi-VN Copyright © 2016-{year} Phạm Duy Tùng. All Rights Reserved. Sun, 09 Aug 2026 00:00:00 +0700 https://www.phamduytung.com/blog/2026-08-09-airllm-layer-streaming-4gb-vram/ Sun, 09 Aug 2026 00:00:00 +0700 https://www.phamduytung.com/blog/2026-08-09-airllm-layer-streaming-4gb-vram/ AirLLM không làm mô hình nhỏ đi. Nó biến GPU thành một căn phòng nhỏ, chỉ đưa từng layer hoặc từng expert vào tính toán rồi lập tức đẩy ra ngoài. Đổi lại, VRAM giảm cực mạnh nhưng disk I/O và latency trở thành cái giá phải trả.