Kimi Delta Attention on Phạm Duy Tùng Machine Learning Blog https://www.phamduytung.com/tags/kimi-delta-attention/ Recent content in Kimi Delta Attention on Phạm Duy Tùng Machine Learning Blog Hugo vi-VN Copyright © 2016-{year} Phạm Duy Tùng. All Rights Reserved. Sun, 09 Aug 2026 00:00:00 +0700 Kimi Delta Attention: Khi AI học cách nhớ như một cái bảng trắng thay vì ôm cả nhà kho https://www.phamduytung.com/blog/2026-08-09-kimi-delta-attention/ Sun, 09 Aug 2026 00:00:00 +0700 https://www.phamduytung.com/blog/2026-08-09-kimi-delta-attention/ Kimi Delta Attention (KDA) là cơ chế linear attention đứng sau Kimi Linear và Kimi K3. Thay vì giữ toàn bộ KV cache ngày càng phình ra theo context, KDA nén quá khứ vào một trạng thái cố định, liên tục đọc, sửa, quên và ghi lại bộ nhớ bằng delta rule.