Catastrophic Forgetting Là Gì?
Catastrophic Forgetting (quên thảm họa) là hiện tượng một mô hình AI học thêm kiến thức mới thì ngay lập tức mất đi kiến thức đã học trước đó. Bộ não mô hình bị “ghi đè” — thông tin cũ biến mất khi trọng số thay đổi để thích nghi với dữ liệu mới.
Đây là một trong những vấn đề khó nhất trong machine learning. Khác với con người có thể học cả đời mà không quên điều fundamentals, neural network truyền thống học task mới là quên task cũ gần như ngay lập tức.
Vì Sao Mô Hình AI Lại “Quên”?
Nguyên nhân nằm ở cách neural network lưu trữ kiến thức: toàn bộ trong các trọng số (weights). Khi bạn huấn luyện mô hình trên dữ liệu mới, thuật toán tối ưu sẽ cập nhật trọng số để giảm loss trên tập dữ liệu mới.
Vấn đề là trọng số đó cũng đang lưu giữ kiến thức từ dữ liệu cũ. Khi trọng số thay đổi quá nhiều để fit dữ liệu mới, thông tin cũ bị phá hủy. Đó là gốc rễ của catastrophic forgetting.
Một cách hình dung: bạn có một cuốn sổ chỉ có 100 trang. Học kiến thức mới tức là viết đè lên trang cũ. Không có chỗ để lưu thêm — chỉ có ghi đè.
Catastrophic Forgetting Khác Gì Overfitting?
Nhiều người nhầm hai khái niệm này. Overfitting là mô hình học quá kỹ trên một tập dữ liệu, mất khả năng tổng quát hóa. Catastrophic Forgetting là mô hình học dữ liệu mới thì quên kiến thức cũ.
Overfitting liên quan đến generalization — mô hình không dự đoán đúng trên dữ liệu chưa thấy. Catastrophic Forgetting liên quan đến stability — mô hình không giữ được kiến thức đã học khi học thêm cái mới.
Stability-plasticity dilemma là tên gọi chính thức của bài toán này: làm sao cân bằng giữa khả năng học mới (plasticity) và khả năng giữ kiến thức cũ (stability).
Ví Dụ Thực Tế Về Catastrophic Forgetting
Giả sử bạn fine-tune một mô hình ngôn ngữ để dịch tiếng Anh sang tiếng Việt. Mô hình dịch rất tốt. Sau đó bạn tiếp tục fine-tune để làm tóm tắt văn bản. Kết quả? Mô hình tóm tắt tốt nhưng quên mất cách dịch.
Trường hợp thực tế: nhiều team phát triển chatbot fine-tune GPT hay Llama cho một domain cụ thể (y tế, pháp lý), sau đó muốn mở rộng sang domain khác. Nếu không xử lý đúng, mô hình mới giỏi domain sau nhưng mất hết kiến thức domain trước.
Đây cũng là lý do nhiều công ty ngại fine-tune liên tục. Mỗi lần fine-tune mà không cẩn thận là một lần “xóa” kiến thức cũ.
Cách Giảm Thiểu Catastrophic Forgetting
Có several phương pháp phổ biến để giải quyết vấn đề này:
1. Replay (Phát lại dữ liệu cũ): Khi huấn luyện trên dữ liệu mới, trộn thêm một phần dữ liệu cũ. Mô hình vừa học mới vừa ôn cũ. Đơn giản nhưng tốn bộ nhớ và chi phí tính toán.
2. Elastic Weight Consolidation (EWC): Phương pháp này xác định trọng số nào quan trọng cho task cũ và phạt mô hình nếu thay đổi những trọng số đó. Nói cách khác: “học tự do, nhưng đừng đụng vào mấy trọng số quan trọng này”.
3. Progressive Neural Networks: Thay vì dùng chung một mạng, tạo mạng mới cho task mới. Các mạng cũ bị “đóng băng” và kết nối với mạng mới. Kiến thức cũ không bị ghi đè vì trọng số cũ không thay đổi.
4. LoRA và Adapter: Thay vì fine-tune trực tiếp trọng số gốc, thêm các module nhỏ (adapter) bên cạnh. Kiến thức gốc nằm trong trọng số chính — không bị đụng. Kiến thức mới nằm trong adapter. Muốn switch task, chỉ cần đổi adapter.
Catastrophic Forgetting Trong Thực Tiễn AI 2026
Năm 2026, khi các mô hình ngôn ngữ lớn ngày càng đa nhiệm, catastrophic forgetting trở thành vấn đề cấp thiết hơn bao giờ hết. Các lab AI phải liên tục cập nhật mô hình để theo kịp kiến thức mới mà không mất khả năng cũ.
RLHF (Reinforcement Learning from Human Feedback) cũng gặp vấn đề này. Khi huấn luyện mô hình theo ý con người, đôi khi mô hình quên mất kiến thức factual đã học trong pretraining. Giải pháp thường dùng là kết hợp replay với KL divergence penalty để giữ mô hình gần với phiên bản gốc.
Các kỹ thuật như LoRA, QLoRA mà cộng đồng open-source đang dùng phổ biến cũng một phần giải quyết bài toán này. Bạn giữ nguyên mô hình gốc, chỉ train thêm một lớp nhỏ. Muốn dùng cho task khác, swap adapter là xong.
Mình Nghĩ Gì Về Catastrophic Forgetting?
Theo mình, đây là một trong những vấn đề thú vị nhất của AI. Nó cho thấy machine learning vẫn còn rất xa so với trí tuệ thật của con người. Não bộ chúng ta học cả đời, tích lũy kinh nghiệm, mà hiếm khi “quên thảm họa” — trừ khi có bệnh lý.
Nếu bạn đang làm fine-tune mô hình cho dự án của mình, hãy nhớ đến catastrophic forgetting. Đừng fine-tune liên tục trên các task khác nhau mà không có chiến lược bảo vệ kiến thức cũ. Replay data, dùng adapter, hoặc EWC đều đáng cân nhắc.
Hiểu được vấn đề này giúp bạn ra quyết định tốt hơn: khi nào nên fine-tune, khi nào nên dùng prompt engineering, và khi nào cần kiến trúc riêng cho từng task.
Tóm Lại
Catastrophic Forgetting là hiện tượng mô hình AI quên kiến thức cũ khi học kiến thức mới. Nguyên nhân là trọng số mạng nơ-ron bị ghi đè trong quá trình huấn luyện. Các phương pháp giảm thiểu bao gồm replay dữ liệu, EWC, progressive networks, và adapter/LoRA.
Nếu bạn đang xây dựng hệ thống AI multi-task hoặc muốn fine-tune mô hình cho nhiều domain, hiểu rõ catastrophic forgetting là điều kiện bắt buộc để tránh mất công sức và tài nguyên.
