Bạn dùng ChatGPT, DeepSeek, hay Gemini mỗi ngày nhưng có bao giờ thắc mắc làm sao các mô hình hàng nghìn tỷ tham số lại chạy nhanh như vậy? Câu trả lời nằm ở một kiến trúc thông minh gọi là Mixture of Experts (MoE) — và nó thú vị hơn bạn nghĩ.
MoE (Mixture of Experts) Là Gì?
MoE hay Mixture of Experts là kiến trúc AI chia mô hình thành nhiều “chuyên gia” riêng biệt. Mỗi chuyên gia giỏi một mảng nhất định. Khi nhận câu hỏi, bộ định tuyến (router) sẽ chọn đúng 2-4 chuyên gia phù hợp nhất để xử lý thay vì kích hoạt toàn bộ mô hình.
Nghĩa là một mô hình có 600 tỷ tham số nhưng mỗi lần xử lý chỉ dùng khoảng 40-60 tỷ tham số. Phần còn lại “ngủ” cho đến khi cần. Điều này giúp mô hình lớn chạy nhanh và tiết kiệm chi phí hơn rất nhiều so với kích hoạt toàn bộ.
MoE Khác Gì So Với Mô Hình Thường?
Một mô hình Transformer thông thường (dense model) hoạt động như một cửa hàng tiện lợi chỉ có một nhân viên làm mọi việc: tính tiền, sắp xếp hàng, tư vấn khách. Dù bạn chỉ mua một gói mì, nhân viên đó vẫn phải xử lý toàn bộ quy trình.
MoE thì như một trung tâm thương mại có 64 phòng khám chuyên khoa. Khi bạn vào với vấn đề về tim, bộ định tuyến sẽ gửi bạn đến bác sĩ tim mạch chứ không bắt tất cả 64 bác sĩ cùng khám. Nhanh hơn, rẻ hơn, và chất lượng từng chuyên gia cũng sâu hơn.
Điểm khác biệt cốt lõi: dense model tính toán trên toàn bộ tham số cho mỗi token. MoE chỉ tính toán trên một tập con nhỏ. Đây là lý do DeepSeek V3 có 671 tỷ tham số nhưng chi phí inference lại rẻ hơn nhiều so với GPT-4.
Ví Dụ Thực Tế Về MoE
Mình lấy ví dụ bằng cách bạn quen thuộc nhất: phòng ban trong công ty. Khi khách hàng cần tư vấn pháp lý, bạn không gọi cả phòng marketing, phòng IT, phòng tài chính ra họp. Bạn chỉ cần người của phòng pháp chế. MoE hoạt động y hệt vậy.
Trong thực tế AI, DeepSeek V3 là ví dụ điển hình. Mô hình này có 256 chuyên gia (experts), mỗi token chỉ kích hoạt 8 chuyên gia. Tức là 97% chuyên gia đang “nghỉ” tại bất kỳ thời điểm nào. Tổng tham số 671 tỷ nhưng active chỉ 37 tỷ — nhỏ hơn cả LLM Llama 3 70B.
GPT-4 cũng được báo cáo sử dụng kiến trúc MoE với 8 chuyên gia, mỗi lần kích hoạt 2. Mixtral 8x7B của Mistral dùng đúng 8 chuyên gia, mỗi lần chọn 2 trong số đó. Google Gemini cũng ứng dụng MoE ở quy mô lớn.
Cấu Trúc MoE Hoạt Động Như Thế Nào?
Một mô hình MoE có ba thành phần chính:
1. Các chuyên gia (Experts): Mỗi chuyên gia là một feedforward network riêng biệt. Trong mô hình Transformer, phần attention dùng chung cho tất cả, chỉ phần feedforward bị tách thành nhiều nhánh chuyên gia.
2. Bộ định tuyến (Router/Gating): Đây là “bác sĩ phân loại” — một mạng nơ-ron nhỏ đánh giá mỗi token đầu vào, tính điểm cho từng chuyên gia, rồi chọn top-k (thường 2-8) chuyên gia có điểm cao nhất.
3. Cơ chế kết hợp: Đầu ra từ các chuyên gia được chọn sẽ được nhân với trọng số tương ứng rồi cộng lại. Token đầu ra phản ánh kết quả từ nhiều chuyên gia cùng đóng góp.
Quá trình này lặp lại ở mỗi layer của Transformer. Nghĩa là câu “Viết bài về SEO” có thể đi qua chuyên gia A ở layer 1, chuyên gia B ở layer 2, chuyên gia C ở layer 3 — tùy thuộc vào nội dung từng token.
Tại Sao MoE Lại Quan Trọng?
MoE giải quyết bài toán lớn nhất của AI hiện đại: mở rộng quy mô mà không tăng chi phí tính toán tương ứng.
Khi bạn tăng tham số của dense model từ 70 tỷ lên 700 tỷ, chi phí inference cũng tăng khoảng 10 lần. Nhưng với MoE, bạn có thể có mô hình 700 tỷ tham số mà chi phí inference chỉ tương đương mô hình 70 tỷ. Đây là lý do các lab AI lớn đều chuyển sang MoE cho mô hình frontier.
Theo mình quan sát, MoE là một trong những lý do chính khiến giá API AI giảm mạnh trong năm 2025-2026. DeepSeek tính phí khoảng 0,27 USD mỗi triệu token input, trong khi GPT-4 turbo năm 2024 tính 10 USD — rẻ hơn gần 40 lần. Phần lớn sự chênh lệch này đến từ hiệu quả của MoE.
MoE cũng mở đường cho việc chạy mô hình lớn trên phần cứng nhỏ. Deep learning trước đây yêu cầu cluster GPU khổng lồ. Với MoE, bạn có thể chạy DeepSeek V3 trên một máy có 8 GPU H100 nhờ chỉ nạp các chuyên gia cần thiết vào bộ nhớ.
MoE Có Nhược Điểm Gì Không?
Có, và mình nghĩ cần nói thẳng các vấn đề này:
Tốn nhiều RAM: Dù chỉ vài chuyên gia hoạt động, toàn bộ 256 chuyên gia vẫn phải nằm trong bộ nhớ VRAM. DeepSeek V3 cần khoảng 800GB VRAM để chạy — không phải vì tính toán nhiều mà vì chứa hết chuyên gia.
Khó huấn luyện: MoE phức tạp hơn dense model rất nhiều. Vấn đề “chuyên gia bị bỏ rơi” (load balancing) luôn tồn tại — router có xu hướng chỉ chọn vài chuyên gia quen thuộc, khiến phần lớn chuyên gia không được học gì. Cần cơ chế auxiliary loss để ép router phân phối đều.
Overhead khi batch nhỏ: Khi chỉ xử lý một câu ngắn, MoE không lợi hơn dense model bao nhiêu. Lợi thế rõ nhất khi xử lý batch lớn hoặc nhiều request cùng lúc.
MoE Và Tương Lai Của AI
Xu hướng 2025-2026 cho thấy MoE không còn là thử nghiệm mà đã thành tiêu chuẩn cho mô hình lớn. DeepSeek, Qwen, Llama 4, Gemini đều dùng MoE. Ngay cả các reasoning model thế hệ mới cũng kết hợp MoE để cân bằng tốc độ và chất lượng.
Một hướng đi đáng chú ý là fine-grained MoE: thay vì 8 chuyên gia lớn, dùng 256 chuyên gia nhỏ. Nghiên cứu cho thấy nhiều chuyên gia nhỏ hoạt động hiệu quả hơn ít chuyên gia lớn, vì mỗi chuyên gia chuyên môn hóa sâu hơn.
Hướng nữa là MoE trên edge device — chạy mô hình MoE trên điện thoại, laptop. Vì mỗi token chỉ cần nạp vài chuyên gia, MoE rất phù hợp cho thiết bị có bộ nhớ hạn chế. Apple Intelligence được cho là ứng dụng biến thể của MoE.
Tóm Lại
MoE là bước tiến quan trọng giúp AI vừa mạnh hơn vừa rẻ hơn. Thay vì xây một “bộ não khổng lồ” xử lý mọi thứ, MoE chia thành nhiều chuyên gia nhỏ, mỗi người giỏi một việc. Bộ định tuyến thông minh chọn đúng người cho đúng việc.
Nếu bạn đang chọn mô hình AI cho dự án, hãy lưu ý: mô hình MoE lớn không có nghĩa là chậm hay đắt. DeepSeek V3 với 671 tỷ tham số có thể rẻ hơn nhiều mô hình 70 tỷ tham số dense. Hiểu được MoE giúp bạn đưa ra quyết định đúng khi chọn API, self-host, hay tối ưu chi phí AI.
Thuật ngữ liên quan: Transformer, LLM, Inference, Deep Learning, Reasoning Model.
