Mở bài viết
Switch Transformer: Cái công tắc mở đường cho kỷ nguyên mô hình nghìn tỷ tham số
Switch Transformer đưa Mixture of Experts vào một thiết kế đơn giản: mỗi token chỉ đi qua một expert. Nhờ tách số tham số khỏi lượng tính toán thực tế, Google đã huấn luyện...