Masked Language Modeling, hay MLM, là kỹ thuật huấn luyện AI mà trong đó một số từ trong câu bị “che giấu” đi, và mô hình phải đoán từ đó là gì. Nếu bạn từng chơi trò chơi điền từ vào chỗ trống, thì đó chính xác là cách MLM hoạt động.
BERT, model ngôn ngữ nổi tiếng của Google, đã dùng kỹ thuật này để đạt được những kết quả đột phá trong hiểu ngôn ngữ tự nhiên. Từ đó, MLM trở thành nền tảng cho rất nhiều model AI hiện đại.
Masked Language Modeling Là Gì?
Masked Language Modeling là phương pháp huấn luyện mà mô hình nhận vào một câu có một hoặc nhiều từ bị thay bằng ký tự đặc biệt (thường là [MASK]), rồi phải dự đoán từ gốc dựa trên ngữ cảnh xung quanh. Ví dụ: “Hôm nay trời [MASK] quá” — mô hình phải đoán từ còn thiếu có thể là “đẹp”, “nóng”, hoặc “mưa”.
Điểm khác biệt lớn nhất của MLM so với các phương pháp truyền thống là nó nhìn câu theo cả hai chiều — trái và phải cùng lúc. Nghĩa là khi đoán từ bị che, mô hình không chỉ dùng các từ phía trước mà còn dùng cả các từ phía sau. Điều này giúp AI hiểu ngữ cảnh sâu hơn rất nhiều.
MLM Khác Gì Với Causal Language Modeling?
Có hai hướng tiếp cận chính khi huấn luyện model ngôn ngữ, và việc hiểu sự khác biệt giữa chúng rất quan trọng.
Causal Language Modeling (CLM) — cách mà GPT dùng — chỉ đọc từ trái sang phải, đoán từ tiếp theo dựa trên những từ đã thấy. Nó giống như bạn viết văn, thêm từng chữ một.
Masked Language Modeling (MLM) — cách mà BERT dùng — che một từ ở giữa câu rồi đoán nó dựa trên cả ngữ cảnh trước và sau. Nó giống như bài trắc nghiệm điền từ.
Mỗi cách có ưu điểm riêng. CLM tốt cho việc tạo văn bản (generation). MLM tốt cho việc hiểu văn bản (comprehension) — như phân tích cảm xúc, trả lời câu hỏi, hay phân loại văn bản.
Cách MLM Hoạt Động Chi Tiết
Quá trình huấn luyện MLM diễn ra theo các bước khá dễ hiểu:
Bước 1 — Chọn từ để che: Thường khoảng 15% token trong câu sẽ được chọn để che giấu. Không phải chọn 100% vì mô hình cần đủ ngữ cảnh để đoán.
Bước 2 — Thay thế: Trong số 15% đó, 80% thay bằng [MASK], 10% thay bằng một từ ngẫu nhiên, và 10% giữ nguyên. Cách trộn này giúp mô hình không chỉ học điền từ mà còn học sửa lỗi.
Bước 3 — Dự đoán: Mô hình dùng Transformer encoder để nhìn toàn bộ câu (cả hai chiều) và dự đoán token bị che.
Bước 4 — Tính loss: So sánh dự đoán với từ thật, cập nhật trọng số để lần sau đoán chính xác hơn.
Tại Sao MLM Lại Hiệu Quả?
Lý do lớn nhất khiến MLM hiệu quả là dữ liệu huấn luyện gần như vô tận. Bạn có thể lấy bất kỳ văn bản nào, che một từ, và ngay lập tức có một bài tập cho AI. Không cần người dán nhãn, không cần thuê annotator. Mô hình tự học từ hàng tỷ câu văn.
Thứ hai, vì mô hình phải đoán từ dựa trên ngữ cảnh hai chiều, nó học được mối quan hệ ngữ nghĩa sâu sắc giữa các từ. Ví dụ “ngân hàng” trong “đi ngân hàng rút tiền” và “ngân hàng ngồi bên sông” sẽ được hiểu khác nhau nhờ các từ xung quanh.
Thứ ba, MLM tạo ra các embedding giàu thông tin. Sau khi huấn luyện xong, các trọng số của mô hình có thể dùng cho hàng tá tác vụ khác — từ phân loại văn bản đến trả lời câu hỏi — chỉ cần fine-tune một chút.
Những Model Nổi Tiếng Dùng MLM
BERT (Google): Model đầu tiên và nổi tiếng nhất dùng MLM. BERT đã thay đổi hoàn toàn cách ngành NLP vận hành từ năm 2018.
RoBERTa (Meta): Phiên bản tối ưu của BERT, huấn luyện với nhiều dữ liệu hơn, batch size lớn hơn, và bỏ đi任务 NSP (Next Sentence Prediction) không cần thiết.
ALBERT (Google Research): Phiên bản nhẹ hơn của BERT, giảm tham số bằng cách chia sẻ trọng số, nhưng vẫn giữ hiệu suất cao.
DeBERTa (Microsoft): Cải tiến BERT với cơ chế attention tách biệt nội dung và vị trí, đạt hiệu suất cao hơn trên nhiều benchmark.
Ứng Dụng Của MLM Trong Thực Tế
Các model được huấn luyện bằng MLM có mặt khắp nơi trong sản phẩm công nghệ mà bạn dùng hàng ngày:
Tìm kiếm trên Google: BERT giúp Google hiểu câu query phức tạp更好, đặc biệt là các câu hỏi dài có từ nối như “to”, “for”, “from”. Trước BERT, Google thường hiểu sai những query này.
Phân tích cảm xúc: Các công cụ monitoring social media dùng model dựa trên BERT để hiểu xem người dùng đang khen hay chê sản phẩm.
Trả lời câu hỏi: Hệ thống Q&A tự động trích xuất câu trả lời từ văn bản dài dựa trên khả năng hiểu ngữ cảnh hai chiều.
Named Entity Recognition: Nhận diện tên người, tên công ty, địa điểm trong văn bản — rất quan trọng cho hệ thống CRM và search engine.
Hạn Chế Của MLM
MLM không phải hoàn hảo. Thứ nhất, mismatch giữa huấn luyện và sử dụng. Khi huấn luyện, mô hình thấy [MASK] token. Khi sử dụng thực tế, không có [MASK] nào cả. Khoảng cách này có thể ảnh hưởng đến hiệu suất.
Thứ hai, MLM không giỏi tạo văn bản. Vì được thiết kế để hiểu chứ không phải sinh text, bạn không thể dùng BERT để viết bài như GPT. Nếu cần tạo nội dung, CLM vẫn là lựa chọn tốt hơn.
Thứ ba, việc che ngẫu nhiên giả định rằng mọi từ đều quan trọng như nhau. Nhưng thực tế, từ “the”, “a”, “is” ít quan trọng hơn từ chính trong câu. Một số nghiên cứu mới hơn đang cố gắng giải quyết vấn đề này bằng cách ưu tiên che các từ mang nhiều thông tin.
Kết Luận
Masked Language Modeling là một trong những đột phá lớn nhất của NLP hiện đại. Bằng cách đơn giản là “che từ rồi đoán”, kỹ thuật này cho phép AI học hiểu ngôn ngữ từ hàng tỷ câu văn mà không cần sự can thiệp của con người.
Dù GPT và các model sinh văn bản đang nhận được nhiều sự chú ý hơn, MLM vẫn là nền tảng không thể thay thế cho các tác vụ cần hiểu ngôn ngữ thay vì chỉ tạo ra nó. Nếu bạn đang làm việc với NLP, đặc biệt là các bài toán phân loại, trích xuất thông tin, hay search, model dựa trên MLM vẫn là một trong những lựa chọn mạnh mẽ nhất.
Nắm được cách MLM hoạt động cũng giúp bạn hiểu sâu hơn về cách AI xử lý ngôn ngữ — từ đó sử dụng các công cụ AI hiệu quả hơn trong công việc hàng ngày.
Thuật ngữ liên quan
- Attention Mechanism Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
- Autoencoder Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
- Embedding (Nhúng Vector) Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
- Embedding Dimension (Chiều Nhúng Vector) Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
- Feed-Forward Network Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
Xem toàn bộ thư viện thuật ngữ AI & SEO A-Z.
