Switch Transformer on Phạm Duy Tùng Machine Learning Blog https://www.phamduytung.com/tags/switch-transformer/ Recent content in Switch Transformer on Phạm Duy Tùng Machine Learning Blog Hugo vi-VN Copyright © 2016-{year} Phạm Duy Tùng. All Rights Reserved. Sat, 15 Aug 2026 00:00:00 +0700 Switch Transformer: Cái công tắc mở đường cho kỷ nguyên mô hình nghìn tỷ tham số https://www.phamduytung.com/blog/2026-08-15-switch-transformer/ Sat, 15 Aug 2026 00:00:00 +0700 https://www.phamduytung.com/blog/2026-08-15-switch-transformer/ Switch Transformer đưa Mixture of Experts vào một thiết kế đơn giản: mỗi token chỉ đi qua một expert. Nhờ tách số tham số khỏi lượng tính toán thực tế, Google đã huấn luyện Transformer 1,6 nghìn tỷ tham số và đạt tốc độ pre-training nhanh hơn nhiều so với mô hình dense tương đương.