Knowledge Probe là gì?
Knowledge Probe (thăm dò kiến thức) là một bộ câu hỏi kiểm tra được thiết kế để đo lường lượng kiến thức thực tế mà một mô hình ngôn ngữ đã lưu trữ bên trong tham số của nó, mà không cần huấn luyện thêm bất cứ điều gì.
Nói đơn giản hơn: probe giống như bạn đang “gõ cửa” trí nhớ của AI. Bạn không dạy nó điều mới, mà chỉ thử xem nó đã biết sẵn những gì và biết chắc đến mức nào.
Thuật ngữ này trở nên phổ biến sau nghiên cứu “Language Models as Knowledge Bases?” của nhóm Petroni tại Facebook AI năm 2019. Họ chứng minh rằng các mô hình ngôn ngữ có thể đã học được một lượng đáng kể tri thức thực tế ngay từ việc huấn luyện dự đoán từ tiếp theo.
Knowledge Probe hoạt động như thế nào?
Cách phổ biến nhất là dạng điền từ (cloze test). Bạn lấy một câu sự thật, che đi từ quan trọng, rồi xem mô hình dự đoán gì vào chỗ trống đó.
Ví dụ: “Thủ đô của Việt Nam là ___”. Nếu mô hình gán xác suất cao nhất cho cụm “Hà Nội”, nó vượt qua probe. Nếu dự đoán hàng đầu lại là “đẹp” hay “nơi”, rõ ràng kiến thức địa lý của nó có vấn đề.
Điểm mấu chốt nằm ở chỗ: probe đo xác suất mà mô hình gán cho từng từ ứng viên, chứ không yêu cầu mô hình “nói chuyện” rồi chấm điểm câu trả lời. Cách này truy vấn trực tiếp vào bộ nhớ, giảm thiểu ảnh hưởng của lời chào hay phong cách hỏi.
Có những loại Knowledge Probe phổ biến nào?
Một là điền từ (cloze probe). Che một thực thể trong câu rồi đo xác suất mô hình điền đúng. Benchmark LAMA ra đời từ nghiên cứu năm 2019 chính là bộ điền từ như vậy, bao phủ các quan hệ như “x nằm ở quốc gia nào” hay “thuốc này trị bệnh gì”.
Hai là trắc nghiệm. Đưa ra bốn phương án A B C D và xem mô hình chọn gì. MMLU với hàng chục nghìn câu hỏi từ toán, luật đến y khoa thực chất là một knowledge probe quy mô lớn. Bạn có thể đọc thêm về nó trong bài MMLU là gì.
Ba là đúng hay sai. Đưa ra một nhận định, ví dụ “Nước Anh giáp biển Việt Nam”, và kiểm tra mô hình đánh giá thế nào.
Bốn là câu hỏi tự nhiên. Hỏi kiểu người thật thường hỏi rồi so câu trả lời với ground truth, gần với thực tế sử dụng nhất nhưng cũng khó chấm nhất.
Tại sao Knowledge Probe chỉ là “cận dưới” của kiến thức?
Đây là điểm mà mình thấy thú vị nhất. Nghiên cứu chỉ ra rằng một mô hình có thể “biết” một thông tin nhưng vẫn trượt probe. Kiến thức nằm trong tham số rồi, nhưng đường truy xuất qua đúng định dạng câu hỏi đó lại gặp trục trặc.
Giống như bạn chắc chắn biết tên một bài hát, nhưng khi bị hỏi đột ngột thì lại quên tuốt. Không phải không biết, mà là không truy xuất được lúc đó.
Vì vậy, kết quả probe luôn được xem là cận dưới của kiến thức mô hình. Trượt probe chưa chắc là không biết, nhưng vượt probe gần như chắc chắn xác nhận thông tin đã được lưu lại.
Hạn chế của Knowledge Probe là gì?
Nhạy cảm với cách diễn đạt. Cùng một sự thật nhưng đổi cách hỏi, ví dụ từ chủ động sang bị động, điểm số có thể thay đổi rõ rệt. Probe đo khả năng xử lý một định dạng cụ thể hơn là đo kiến thức thuần.
Rủi ro nhiễm dữ liệu huấn luyện. Nếu câu hỏi xuất hiện nguyên văn trong dữ liệu huấn luyện, mô hình có thể chỉ đang “nhớ lại” chứ không hề “hiểu”. Đây là bài toán kinh điển của mọi benchmark ngày nay.
Chỉ đo kiến thức tường minh. Tri thức dạng quy trình, cảm nhận ngữ cảnh hay kỹ năng suy luận đa bước rất khó nhét vào probe. Khái niệm Emergent Abilities ra đời một phần vì những khả năng này chỉ lộ ra khi mô hình đủ lớn, thay vì qua từng câu hỏi rời rạc.
Knowledge Probe liên quan gì đến đánh giá mô hình?
Probe là một nhánh của cả hệ sinh thái AI Evaluation. Nếu benchmark tổng hợp đo năng lực tổng thể thì probe khoanh vùng đo riêng phần kiến thức đã lưu trong tham số.
Hiểu được điều này giúp bạn đọc điểm số benchmark tỉnh táo hơn. Một model đứng cao trên bảng trắc nghiệm không đồng nghĩa nó trả lời hay nhất trong hội thoại thực tế, vì hai việc đó cần những kỹ năng khác nhau.
Probe còn là nền tảng cho các hướng nghiên cứu như chỉnh sửa tri thức (knowledge editing): muốn sửa một thông tin sai bên trong mô hình, trước hết phải có công cụ đo được thông tin đó đang nằm ở đâu và đúng hay sai.
Người dùng AI thực tế nên rút ra điều gì?
Thứ nhất, đọc điểm số đúng cách. Khi thấy model mới ra mắt quảng cáo điểm MMLU cao, hãy nhớ đó là kết quả thăm dò theo định dạng trắc nghiệm, không phải lời hứa về mọi tình huống thực tế.
Thứ hai, hiểu vì sao AI “biết mà nói sai”. Kiến thức có trong tham số nhưng truy xuất trục trặc là một nguyên nhân của hiện tượng hallucination. Khi đó, đưa ngữ cảnh rõ ràng hơn trong prompt thường giúp mô hình “lôi” đúng thông tin ra.
Thứ ba, cân nhắc giữa kiến thức có sẵn và truy xuất ngoài. Với thông tin thay đổi nhanh như giá cả hay tin tức, kiến thức tĩnh trong tham số không đủ. Đây chính là lý do kỹ thuật RAG ra đời: đi tìm dữ liệu mới rồi mới sinh câu trả lời.
Kết lại thì nên nhớ gì về Knowledge Probe?
Theo mình, Knowledge Probe là một khái niệm đáng nhớ vì nó chạm đến câu hỏi cốt lõi: kiến thức của AI nằm ở đâu và đo như thế nào. Câu trả lời “cận dưới” của probe nhắc chúng ta khiêm tốn với mọi điểm số benchmark.
Lần tới thấy hai model cách nhau vài phần trăm trên bảng xếp hạng, bạn sẽ biết rằng khoảng cách đó có thể chỉ là nhiễu của cách hỏi. Chọn model cho công việc thực tế, cứ thử trực tiếp với chính tác vụ của mình, đó vẫn là probe chính xác nhất.
