MoE

MoE (Mixture of Experts) là kiến trúc mố hình AI tối ưu, trong đó mỗi token chỉ đi qua một subset chuyên gia. Cho phép xây dựng mô hình hàng nghìn tỷ tham số với chi phí tính toán hợp lý.

1 bài viết