Mamba Là Gì?
\n\n
Mamba là một kiến trúc AI mới dựa trên State Space Model (SSM), được giới thiệu bởi Albert Gu và Tri Dao vào cuối năm 2023. Nó được thiết kế để xử lý chuỗi dài hiệu quả hơn Transformer, với độ phức tạp thời gian tuyến tính O(n) thay vì O(n²) như attention.
\n\n
Nói đơn giản hơn: Transformer rất giỏi nhưng càng đọc dài càng chậm. Mamba giải quyết bài toán đó bằng cách “tóm tắt” thông tin khi đi qua chuỗi, giúp tốc độ ổn định dù văn bản dài bao nhiêu.
\n\n
Mamba Khác Gì So Với Transformer?
\n\n
Transformer dùng cơ chế attention — mỗi token phải “nhìn” tất cả token khác để xác định quan hệ. Điều này hoạt động tốt nhưng tốn tài nguyên theo cấp số nhân khi chuỗi dài lên.
\n\n
Mamba thay thế attention bằng selective state space. Thay vì mọi token đều quan tâm đến nhau, Mamba duy trì một “bộ nhớ trạng thái” nén, cập nhật liên tục khi đọc từng token. Cái hay là bộ nhớ này biết chọn lọc — giữ gì quan trọng, bỏ gì không cần.
\n\n
Kết quả: Mamba xử lý chuỗi dài nhanh hơn Transformer đáng kể, đặc biệt khi văn bản vượt 8K-32K token. Trong khi Transformer phải tính toán attention matrix khổng lồ, Mamba chỉ quét tuyến tính qua dữ liệu.
\n\n
State Space Model (SSM) Là Gì?
\n\n
SSM là một mô hình toán học có từ lâu, ban đầu dùng trong điều khiển và tín hiệu. Ý tưởng cốt lõi: một hệ thống có “trạng thái ẩn” bên trong, nhận đầu vào tuần tự và xuất đầu ra tương ứng.
\n\n
Hãy tưởng tượng bạn nghe một bài hát. Không phải bạn ghi nhớ từng nốt nhạc — bạn duy trì một “cảm giác” tổng thể về giai điệu. Cảm giác đó cập nhật theo từng nốt, giúp bạn dự đoán nốt tiếp theo. Đó chính là cách SSM hoạt động.
\n\n
Trong AI, SSM biến đổi đầu vào thành trạng thái ẩn (state), rồi từ trạng thái đó tạo ra đầu ra. Toán học của nó dựa trên phương trình vi phân, nhưng khi rời rạc hóa cho máy tính xử lý, nó trở thành phép nhân ma trận đơn giản.
\n\n
Tại Sao Mamba Lại Được Chú Ý?
\n\n
Phiên bản SSM trước Mamba (như S4, S5) đã tốt nhưng có một hạn chế lớn: chúng xử lý thông tin đồng đều, không phân biệt token nào quan trọng hơn. Giống như đọc sách mà nhớ mọi chữ với cường độ như nhau — không hiệu quả.
\n\n
Đột phá của Mamba nằm ở selective scan. Tức là mô hình tự học khi nào cần ghi nhớ nhiều, khi nào có thể quên đi. Khi gặp thông tin quan trọng (tên nhân vật, số điện thoại, từ khóa), nó “mở” cửa ghi nhớ. Khi gặp filler words hay khoảng trắng, nó “đóng” lại để tiết kiệm.
\n\n
Đây chính là điều Transformer làm được nhờ attention, nhưng Mamba đạt được điều tương tự với chi phí tính toán thấp hơn nhiều.
\n\n
Selective Scan Hoạt Động Thế Nào?
\n\n
Selective scan là trái tim của Mamba. Cụ thể, tại mỗi bước thời gian, mô hình tính toán ba thứ:
\n\n
- \n
- Input-dependent parameters: Thay vì dùng tham số cố định, Mamba sinh ra tham số từ chính đầu vào hiện tại. Điều này giúp mô hình thích ứng nội dung.
- State update: Trạng thái ẩn được cập nhật dựa trên đầu vào mới và tham số vừa tính. Thông tin cũ được nén hoặc loại bỏ nếu không còn liên quan.
- Output projection: Từ trạng thái đã cập nhật, mô hình xuất ra token tiếp theo hoặc biểu diễn để dùng cho tác vụ downstream.
\n
\n
\n
\n\n
Toàn bộ quá trình này chạy tuyến tính — mỗi token chỉ cần một lần cập nhật trạng thái, không cần nhìn lại toàn bộ quá khứ như Transformer.
\n\n
Hardware-Aware Implementation
\n\n
Một điểm mạnh của Mamba mà nhiều người bỏ qua: nó được tối ưu cho GPU từ đầu. Tri Dao, đồng tác giả, cũng là người tạo ra FlashAttention — nên ông hiểu rõ cách khai thác phần cứng.
\n\n
Mamba sử dụng kỹ thuật scan được tối ưu cho SRAM của GPU, giúp tránh được bottleneck truyền dữ liệu giữa HBM (VRAM) và SRAM. Điều này khiến tốc độ thực tế của Mamba nhanh hơn lý thuyết, đôi khi vượt cả Transformer có FlashAttention trên các chuỗi dài.
\n\n
Mamba-2 Cải Tiến Gì?
\n\n
Tháng 5/2024, nhóm tác giả phát hành Mamba-2 với cải tiến quan trọng: structured state space duality. Họ chứng minh rằng SSM có liên kết toán học với attention, mở đường cho kết hợp hai kiến trúc.
\n\n
Mamba-2 cũng sử dụng ma trận cấu trúc (structured matrices) giúp tăng throughput lên 2-8 lần so với Mamba-1, đồng thời hỗ trợ parallel training tốt hơn.
\n\n
Các Model Đang Dùng Mamba
\n\n
Mamba không chỉ là lý thuyết. Nhiều model thực tế đã áp dụng kiến trúc này:
\n\n
- \n
- Jamba (AI21 Labs): Kết hợp Mamba và Transformer theo tỉ lệ, tận dụng ưu điểm cả hai. Model này đạt hiệu năng cạnh tranh với các model Transformer cùng kích thước.
- Falcon-Mamba (TII): Model mã nguồn mở thuần Mamba, chứng minh SSM có thể scale lên hàng tỷ tham số.
- Zamba (Zyphra): Kết hợp Mamba với shared attention blocks, tối ưu cho edge deployment.
\n
\n
\n
\n\n
Xu hướng chung: ít ai dùng Mamba thuần 100%. Phần lớn kết hợp Mamba + Transformer theo các tỉ lệ khác nhau, vì Transformer vẫn tốt cho reasoning ngắn trong khi Mamba xử lý ngữ cảnh dài hiệu quả.
\n\n
Mamba Phù Hợp Cho Trường Hợp Nào?
\n\n
Dựa trên các benchmark và ứng dụng thực tế, Mamba tỏa sáng ở:
\n\n
- \n
- Xử lý văn bản dài: Đọc tài liệu 100K+ token mà vẫn giữ được thông tin đầu trang — điều mà Transformer gặp khó khăn vì chi phí attention.
- Tạo code: Codebase lớn đòi hỏi hiểu ngữ cảnh toàn file, toàn project. Mamba duy trì context tốt hơn.
- Audio và video: Dữ liệu multimodal có chuỗi cực dài (hàng triệu sample), Mamba xử lý hiệu quả.
- Genomics: Phân tích DNA/RNA với chuỗi sinh học dài hàng nghìn base pair.
\n
\n
\n
\n
\n\n
Trong khi đó, Transformer vẫn dẫn đầu ở tác vụ reasoning phức tạp và few-shot learning ngắn. Đó là lý do kiến trúc hybrid đang trở thành xu hướng.
\n\n
Hạn Chế Của Mamba
\n\n
Mamba không phải thuốc chữa bách bệnh. Một vài hạn chế đáng chú ý:
\n\n
Thứ nhất, khả năng recall thông tin cụ thể trong chuỗi ngắn đôi khi kém hơn Transformer. Vì Mamba nén thông tin vào trạng thái, nó có thể “mờ” chi tiết khi cần trích xuất chính xác.
\n\n
Thứ hai, cộng đồng và tooling xung quanh Mamba còn nhỏ so với Transformer. Hugging Face, vLLM, TensorRT — tất cả đều tối ưu cho Transformer trước. Mamba đang bắt đầu được hỗ trợ nhưng chưa ngang bằng.
\n\n
Thứ ba, chưa có model Mamba nào lọt top leaderboard chung bằng kích thước tương đương GPT-4 hay Claude. Kiến trúc có tiềm năng nhưng cần thêm thời gian để scale.
\n\n
Kết Luận
\n\n
Mamba đại diện cho một hướng đi đáng giá trong AI: không chấp nhận O(n²) của Transformer mà tìm cách khác. Selective state space là một ý tưởng đẹp — vừa hiệu quả về tính toán, vừa có khả năng chọn lọc thông tin như attention.
\n\n
Có thể tương lai không phải Mamba thay thế Transformer, mà hai kiến trúc sẽ hòa quyện. Model lai Mamba-Transformer đang cho kết quả rất hứa hẹn, kết hợp sức mạnh reasoning của attention với khả năng xử lý chuỗi dài của SSM.
\n\n
Nếu bạn đang theo dõi AI, Mamba là một kiến trúc đáng để theo dõi. Nó không chỉ là paper lý thuyết — nó đang được production hóa ở nhiều công ty lớn. Và khi tooling trưởng thành hơn, Mamba có thể trở thành lựa chọn mặc định cho các ứng dụng cần context dài.
