KL Divergence Là Gì?
KL Divergence (Kullback-Leibler Divergence) là cách đo sự khác biệt giữa hai phân phối xác suất. Nó cho bạn biết mức độ “chênh lệch” khi bạn dùng một phân phối này để xấp xỉ một phân phối khác.
Nói đơn giản hơn: nếu bạn có hai mô tả về cùng một thứ, KL Divergence tính xem chúng khác nhau bao nhiêu. Giá trị càng thấp, hai phân phối càng giống nhau. Giá trị bằng 0 nghĩa là chúng giống hệt nhau.
Mình nghĩ đây là một trong những khái niệm nền tảng quan trọng nhất trong machine learning. Nếu bạn làm việc với AI đủ lâu, bạn sẽ gặp nó ở khắp nơi, từ huấn luyện model đến nén dữ liệu.
Tại Sao Called “Phân Kỳ” Mà Không Phải “Khoảng Cách”?
Đây là chi tiết mà nhiều người nhầm. KL Divergence không phải là khoảng cách theo nghĩa toán học chuẩn, vì nó bất đối xứng. Nghĩa là KL(A||B) khác KL(B||A).
Điều này có nghĩa là: khoảng cách từ A đến B khác với khoảng cách từ B đến A. Nghe lạ, nhưng trong thực tế lại rất hợp lý. Vì khi bạn dùng A để xấp xỉ B, chi phí sai lệch khác với khi dùng B để xấp xỉ A.
Nếu bạn cần một thước đo đối xứng thực sự, người ta thường dùng Jensen-Shannon Divergence, vốn là trung bình cộng của hai chiều KL.
Công Thức KL Divergence Như Thế Nào?
Cho hai phân phối P và Q, công thức KL Divergence là:
KL(P||Q) = Σ P(x) × log(P(x) / Q(x))
Đừng lo nếu công thức trông phức tạp. Ý tưởng cốt lõi rất đơn giản: với mỗi sự kiện, ta xem xét tỷ lệ giữa xác suất thực (P) và xác suất xấp xỉ (Q), rồi nhân với trọng số của chính sự kiện đó.
Khi P(x) lớn mà Q(x) nhỏ, tức là model của bạn bỏ sót một sự kiện quan trọng, KL Divergence sẽ phạt nặng. Đây là lý do nó nhạy với các “đuôi phân phối”, những vùng dễ bị bỏ qua.
KL Divergence Dùng Ở Đâu Trong AI?
Trong machine learning hiện đại, KL Divergence xuất hiện ở rất nhiều nơi. Mình liệt kê vài ứng dụng quan trọng nhất:
1. Huấn luyện VAE (Variational Autoencoder): Loss function của VAE gồm hai phần, một phần là reconstruction loss, phần kia chính là KL Divergence. Nó ép phân phối latent code tiến gần về phân phối chuẩn, giúp model sinh ra dữ liệu đa dạng hơn.
2. RLHF trong LLM: Khi huấn luyện model ngôn ngữ theo phản hồi con người (như GPT hay Claude), KL Divergence được dùng làm penalty. Nó giữ cho model mới không lệch quá xa so với model gốc, tránh hành vi bất thường.
3. Knowledge Distillation: Khi nén model lớn thành model nhỏ, KL Divergence đo sự khác biệt giữa output của teacher và student. Mục tiêu là làm cho student bắt chước được teacher càng gần càng tốt.
4. Information Theory: Trong lý thuyết thông tin, KL Divergence đo lượng thông tin bị mất khi bạn dùng Q để xấp xỉ P. Càng ít mất mát, model càng chính xác.
Phân Biệt KL Divergence Và Cross-Entropy?
Nhiều bạn mới học hay nhầm hai khái niệm này. Mối quan hệ giữa chúng rất gần: Cross-Entropy = Entropy + KL Divergence.
Khi bạn huấn luyện phân loại (classification), entropy của dữ liệu là hằng số. Vậy nên tối thiểu cross-entropy cũng giống như tối thiểu KL Divergence. Đó là lý do cross-entropy loss phổ biến đến vậy.
Nói cách khác, cross-entropy loss thực chất đang dùng KL Divergence làm nền tảng toán học. Chúng là hai mặt của cùng một vấn đề.
Ví Dụ Thực Tế Để Hiểu Rõ Hơn
Giả sử bạn dự đoán thời tiết. Thực tế (P): 70% nắng, 30% mưa. Model của bạn (Q): 90% nắng, 10% mưa.
KL Divergence sẽ tính xem model của bạn sai lệch bao nhiêu so với thực tế. Vì model bỏ qua đáng kể xác suất mưa (30% thực vs 10% dự đoán), KL sẽ có giá trị khá cao, cảnh báo model chưa tốt.
Điều này quan trọng vì: nếu bạn lên kế hoạch mang ô dựa trên model Q, bạn sẽ bị ướt nhiều hơn dự kiến. KL Divergence chính là cách định lượng “bạn sẽ phải trả giá bao nhiêu” cho sự sai lệch đó.
Forward KL Và Reverse KL Khác Gì Nhau?
Vì KL bất đối xứng, có hai hướng sử dụng:
Forward KL (P||Q): Mean-seeking. Ép Q phủ rộng tất cả các vùng mà P có xác suất cao. Nếu P có nhiều mode, Q sẽ cố “kéo” cho phủ hết, dù không chính xác ở bất kỳ mode nào.
Reverse KL (Q||P): Mode-seeking. Q chỉ tập trung ở vùng nó đã có xác suất cao, bỏ qua các mode khác. Điều này tạo ra các phân phối “nhọn” hơn.
Việc chọn forward hay reverse phụ thuộc bài toán. Trong VAE, người ta dùng Reverse KL. Trong biến phân inference, Forward KL phổ biến hơn.
Kết Luận
KL Divergence là thước đo cơ bản nhưng cực kỳ mạnh trong AI. Nó kết nối lý thuyết thông tin với thực hành machine learning, từ VAE đến RLHF, từ distillation đến generative modeling.
Nếu bạn muốn hiểu sâu hơn về cách AI hoạt động, nắm vững KL Divergence là bước không thể bỏ qua. Nó không chỉ là một công thức toán, mà là lăng kính để nhìn nhận cách model “hiểu” thế giới.
Theo mình, đây là một khái niệm mà mỗi AI engineer nên hiểu từ bên trong, không chỉ biết gọi hàm kl_div trong PyTorch. Khi bạn hiểu vì sao nó bất đối xứng, vì sao nó phạt đuôi phân phối, bạn sẽ viết code tốt hơn rất nhiều.
