Mở bài viết
Kimi Delta Attention: Khi AI học cách nhớ như một cái bảng trắng thay vì ôm cả nhà kho
Kimi Delta Attention (KDA) là cơ chế linear attention đứng sau Kimi Linear và Kimi K3. Thay vì giữ toàn bộ KV cache ngày càng phình ra theo context, KDA nén quá khứ vào một trạng...