Context Distillation Là Gì?
Context Distillation (chưng cất ngữ cảnh) là kỹ thuật giúp AI “học thuộc” một ngữ cảnh dài mà không cần đọc lại nó trong mỗi lần chạy. Thay vì nhét hàng nghìn token hướng dẫn vào prompt mỗi lần, người ta huấn luyện model để tri thức đó nằm sẵn bên trong trọng số. Kết quả: prompt ngắn hơn, chi phí rẻ hơn, tốc độ nhanh hơn.
Nói đơn giản hơn: nếu prompt dài là cuốn sách bạn bắt AI đọc lại mỗi sáng, thì context distillation là biến cuốn sách đó thành “trí nhớ” của chính AI.
Context Distillation Hoạt Động Như Thế Nào?
Quy trình cơ bản gồm ba bước. Đầu tiên, bạn chuẩn bị một ngữ cảnh dài — ví dụ bộ quy tắc trả lời của công ty, tài liệu sản phẩm, hoặc phong cách viết của thương hiệu.
Tiếp theo, bạn sinh dữ liệu huấn luyện: dùng model mạnh với đầy đủ ngữ cảnh để tạo ra các câu trả lời mẫu. Cuối cùng, fine-tune model để nó tạo ra đúng những câu trả lời đó nhưng chỉ từ câu hỏi, không kèm ngữ cảnh.
Sau bước này, model “hấp thụ” được tinh hoa của ngữ cảnh vào trọng số. Đây là lý do kỹ thuật mang tên “distillation” — giống như knowledge distillation chuyển tri thức từ model lớn sang model nhỏ.
Vì Sao Không Nhét Hết Vào Prompt Mà Phải Distill?
Câu hỏi hợp lý, vì nhét vào prompt vẫn là cách phổ biến nhất. Nhưng nó có ba cái giá rõ ràng.
Thứ nhất là tiền. Mỗi lần gọi API bạn trả tiền cho toàn bộ ngữ cảnh lặp đi lặp lại. Với hệ thống chạy hàng triệu request một tháng, con số này rất lớn. Prompt caching giúp giảm phần nào, nhưng không thay thế được hoàn toàn.
Thứ hai là hiệu năng. Ngữ cảnh dài làm chậm thời gian xử lý và dễ gặp hiện tượng suy thoái chất lượng khi context quá tải. Thứ ba là bảo mật: tài liệu nội bộ nằm trong prompt có thể bị rò rỉ qua log hoặc câu lệnh chèn.
Context Distillation Khác Fine-tuning Thường Thế Nào?
Điểm khác biệt nằm ở nguồn dữ liệu. Fine-tuning truyền thống cần bạn chuẩn bị sẵn cặp câu hỏi — trả lời do con người viết. Context distillation thì dùng chính ngữ cảnh dài làm “giáo viên”: model đọc ngữ cảnh rồi tự sinh dữ liệu để học.
Cách này đặc biệt tiện khi bạn có kho tài liệu lớn nhưng không có nguồn lực viết dữ liệu huấn luyện thủ công. Nó cũng kết hợp tốt với context engineering: phần nào ổn định thì distill, phần nào thay đổi thường xuyên thì vẫn để trong prompt.
Khi Nào Nên Dùng Context Distillation?
Mình thấy kỹ thuật này phát huy tác dụng rõ nhất trong ba tình huống.
Một là khi bạn có bộ hướng dẫn cố định dùng cho hàng triệu request — chatbot chăm sóc khách hàng, trợ lý nội bộ công ty. Hai là khi cần model nhỏ chạy tại chỗ nhưng vẫn giữ chất lượng của model lớn. Ba là khi muốn rút gọn system prompt đang phình to hàng chục nghìn token.
Ngược lại, nếu ngữ cảnh thay đổi hàng ngày hoặc số lượng request thấp, đầu tư fine-tune không đáng. Nhét vào prompt vẫn đơn giản và linh hoạt hơn.
Hạn Chế Cần Biết
Context distillation không phải viên đạn bạc. Tri thức được “chưng cất” vào trọng số sẽ khó cập nhật — muốn đổi nội dung, bạn phải fine-tune lại. Đây là điểm yếu so với prompt hay RAG vốn cập nhật tức thì.
Ngoài ra model có thể không hấp thụ hết mọi chi tiết, đặc biệt với thông tin hiếm gặp trong ngữ cảnh. Vì vậy trong thực tế, người ta thường dùng hybrid: distill phần lõi, kết hợp retrieval cho dữ liệu mới. Cũng đừng quên rằng vẫn cần đánh giá kỹ sau khi distill, để chắc chắn chất lượng không tụt so với chạy ngữ cảnh đầy đủ.
Kết Luận
Context distillation là cầu nối giữa prompt engineering và fine-tuning: lấy sự linh hoạt của ngữ cảnh dài, nhưng “đóng gói” nó vào model để rẻ và nhanh hơn. Nếu bạn đang vận hành sản phẩm AI với system prompt khổng lồ và cước API hàng tháng đau đầu, đây là một kỹ thuật đáng để thử. Còn với dự án nhỏ, prompt gọn gàng cộng retrieval vẫn là lựa chọn hợp lý hơn.
