Sparse Attention Là Gì?
Sparse Attention (attention thưa) là một kỹ thuật tối ưu trong kiến trúc Transformer, cho phép mô hình chỉ tập trung vào một tập con nhỏ các vị trí trong chuỗi đầu vào thay vì tính toán attention với toàn bộ các vị trí. Nói đơn giản, thay vì “nhìn” tất cả, mô hình chỉ nhìn những phần quan trọng nhất.
Trong attention truyền thống (full attention), mỗi token phải tính toán độ liên quan với mọi token khác. Điều này tốn O(n^2) bộ nhớ và tính toán. Sparse Attention giảm xuống mức gần với O(n) bằng cách bỏ qua các cặp token ít liên quan, giúp xử lý được chuỗi dài hơn nhiều mà vẫn giữ chất lượng.
Tại Sao Cần Sparse Attention?
Bài toán cốt lõi của Transformer là”context window”. Khi chuỗi đầu vào dài 4.000 token, full attention phải tính toán 16 triệu cặp attention. Tăng lên 32.000 token thì con số đó nhảy thành hơn 1 tỷ. Bộ nhớ GPU không theo kịp.
Mình đã từng thử train một model nhỏ với full attention ở sequence length 8.000 và GPU 12GB VRAM hết sạch ngay tức khắc. Đó là lúc mình hiểu vì sao các công ty lớn phải tìm cách tối ưu.
Sparse Attention giải quyết bài toán này bằng một ý tưởng rất tự nhiên: không phải token nào cũng cần quan tâm đến tất cả token khác. Một từ ở đầu câu không nhất thiết phải tính attention với một từ ở cuối văn bản dài 10 trang.
Sparse Attention Hoạt Động Như Thế Nào?
Trong full attention, ma trận attention có kích thước n x n, trong đó n là độ dài chuỗi. Mỗi ô trong ma trận đại diện cho mức độ liên quan giữa hai token. Sparse Attention chỉ tính toán một phần nhỏ các ô này, phần còn lại được gán bằng 0.
Có nhiều chiến lược chọn ô nào để tính, ô nào bỏ qua. Phổ biến nhất là local attention (chỉ attention với các token gần đó) và global attention (một số token đặc biệt attention với tất cả). Kết hợp cả hai cho kết quả tốt nhất.
Mình hay nghĩ về nó như đọc sách. Khi đọc một đoạn, bạn không cần nhớ mọi từ trong 500 trang trước đó. Bạn chỉ cần chú ý đến đoạn hiện tại (local) và vài điểm chính như tên nhân vật, chủ đề (global). Sparse Attention làm đúng điều đó.
Các Loại Sparse Attention Phổ Biến
Local/Windowed Attention: Mỗi token chỉ attention với các token trong một cửa sổ kích thước cố định xung quanh nó. Ví dụ window size = 256 nghĩa là mỗi token chỉ nhìn 256 token trước và sau. Longformer của Allen AI dùng cách này.
Strided Attention: Token attention với các token cách đều một khoảng nhất định. Giống như đọc mỗi câu thứ 5 trong văn bản. Sparse Transformer của OpenAI dùng kết hợp local và strided.
Block-Sparse Attention: Chia chuỗi thành các block, chỉ tính attention giữa các block có liên quan. Flash Attention 2 và 3 dùng tối ưu hóa ở mức block để giảm bộ nhớ nhưng vẫn giữ full attention về mặt toán học.
Global + Local Attention: Một vài token (như [CLS], dấu câu cuối đoạn) có quyền attention với tất cả. Các token còn lại chỉ attention local. BigBird của Google dùng pattern này.
Sparse Attention Khác Gì So Với Full Attention?
Về mặt kết quả, full attention vẫn là chính xác nhất vì không bỏ sót bất kỳ cặp token nào. Sparse Attention đánh đổi một chút chất lượng để换取 tốc độ và bộ nhớ. Trong thực tế, sự khác biệt về chất lượng thường rất nhỏ, đôi khi gần như không đo được.
Về hiệu năng, Sparse Attention có thể nhanh hơn 2-6 lần tùy thuộc vào pattern và độ dài chuỗi. Quan trọng hơn, nó cho phép xử lý chuỗi dài gấp 4-8 lần cùng phần cứng. Longformer xử lý được chuỗi 16.384 token trên GPU thông thường, trong khi BERT gốc chỉ xử lý được 512.
Mình thấy điều thú vị nhất là nhiều model mới không dùng sparse attention thuần mà tối ưu hóa full attention ở mức phần cứng (như Flash Attention). Cách này giữ độ chính xác hoàn toàn nhưng vẫn giảm bộ nhớ xuống mức O(n).
Ứng Dụng Của Sparse Attention
Xử lý văn bản dài: Các model như Longformer, BigBird cho phép đọc và tóm tắt tài liệu dài hàng chục trang, điều mà BERT không làm được.
Code generation: Khi viết code, mô hình cần hiểu context từ nhiều file khác nhau. Sparse Attention giúp xử lý cửa sổ context lớn hơn mà không vỡ RAM.
Phân tích genome: Trình tự DNA rất dài (hàng triệu cặp base). Sparse Attention là bắt buộc để mô hình hóa mối quan hệ giữa các phần xa nhau trong genome.
Video understanding: Video chứa rất nhiều frame, mỗi frame lại là ma trận pixel. Sparse Attention giúp mô hình tập trung vào các frame và vùng quan trọng thay vì xử lý đồng loạt tất cả.
Sparse Attention Có Nhược Điểm Gì?
Nhược điểm chính là độ phức tạp trong triển khai. Full attention chỉ cần vài dòng code với ma trận nhân ma trận. Sparse Attention cần quản lý mask, indexing, và tối ưu hóa kernel GPU riêng. Debug cũng khó hơn nhiều.
Một vấn đề nữa là chọn pattern. Nếu pattern không phù hợp với bài toán, chất lượng có thể giảm đáng kể. Ví dụ local attention không tốt cho bài toán cần liên kết thông tin ở hai đầu văn bản dài.
Cuối cùng, không phải GPU nào cũng exploit được sparse attention hiệu quả. Các kernel tối ưu thường yêu cầu GPU đời mới với tensor core. Trên phần cứng cũ, sparse đôi khi còn chậm hơn full vì overhead quản lý mask.
Câu Hỏi Thường Gặp
Sparse Attention có thay thế hoàn toàn full attention không?
Không hẳn. Trong nhiều trường hợp, full attention vẫn là lựa chọn tốt nhất khi chuỗi ngắn (dưới 2.000 token). Sparse Attention tỏa sáng khi cần xử lý chuỗi dài. Nhiều model hiện đại dùng full attention nhưng tối ưu ở mức hardware như Flash Attention, đạt hiệu quả tương đương sparse mà không đánh đổi chất lượng.
Model nào đang dùng Sparse Attention?
Longformer, BigBird, Sparse Transformer là những model tiên phong. GPT-4 và Claude cũng dùng các biến thể tối ưu attention, nhưng chi tiết cụ thể thường không được công bố. MoE (Mixture of Experts) cũng có thể xem là một dạng sparse ở mức kiến trúc.
Có nên tự triển khai Sparse Attention không?
Nếu bạn mới bắt đầu, hãy dùng thư viện có sẵn. PyTorch, Hugging Face, và DeepSpeed đều hỗ trợ các sparse attention pattern phổ biến. Tự viết kernel sparse attention từ đầu là bài toán khó, yêu cầu kiến thức sâu về CUDA và memory layout.
Kết Luận
Sparse Attention là một trong những tối ưu hóa quan trọng nhất giúp Transformer mở rộng được ra các bài toán thực tế. Từ tóm tắt tài liệu dài đến phân tích genome, khả năng xử lý chuỗi dài mà không vỡ bộ nhớ đã mở ra những ứng dụng mà full attention không thể chạm tới.
Nếu bạn đang tìm hiểu về tối ưu hóa Transformer, Sparse Attention là khái niệm nền tảng cần nắm vững. Kết hợp với Flash Attention, KV Cache, và Grouped Query Attention, bạn đã có trong tay bộ công cụ để hiểu cách các model ngôn ngữ lớn hoạt động ở mức hạ tầng.
