RLHF Vs DPO Khác Gì Nhau? Ai Mới Nên Dùng
Khi bạn fine-tune một AI model để nó “nghe lời” hơn, có hai cách phổ biến nhất: RLHF và DPO. RLHF (Reinforcement Learning from Human Feedback) là phương pháp cũ, phức tạp nhưng mạnh mẽ. DPO (Direct Preference Optimization) là phương pháp mới, đơn giản hơn và đang được ưa chuộng. Cứ đơn giản: RLHF cần hai bước (tạo reward model rồi train), còn DPO chỉ cần một bước.
RLHF Là Gì?
RLHF là kỹ thuật dùng phản hồi của con người để huấn luyện AI. Cách này được OpenAI dùng để tạo ra ChatGPT, và nó đã thay đổi cuộc chơi AI mãi mãi.
Quy trình RLHF gồm 3 bước chính. Đầu tiên, bạn cho model sinh ra nhiều câu trả lời khác nhau cho cùng một câu hỏi. Sau đó, con người (annotator) đánh xếp câu nào tốt hơn, câu nào tệ hơn. Cuối cùng, bạn dùng reinforcement learning để dạy model prefer câu trả lời tốt.
Ví dụ: Khi ai đó hỏi “How to make phở?”, model có thể trả lời dài dòng hay ngắn gọn. Annotator sẽ chọn câu trả lời có công thức rõ ràng, nguyên liệu đầy đủ. Model học rằng “người thích câu trả lời có cấu trúc rõ ràng”.
DPO Là Gì?
DPO (Direct Preference Optimization) ra đời năm 2023, tạo bởi nhóm nghiên cứu từ Stanford. Khác biệt lớn nhất: DPO bỏ qua bước tạo reward model riêng. Thay vào đó, nó optimize model trực tiếp từ dữ liệu preference của con người.
Điều này nghe đơn giản nhưng là một breakthrough lớn. RLHF cần train thêm một reward model riêng biệt, rồi dùng PPO (Proximal Policy Optimization) để optimize. Quy trình này phức tạp, kém ổn định, và khó tune. DPO gộp tất cả thành một bước duy nhất.
Thực tế, DPO cho kết quả tương đương RLHF trên nhiều benchmark, nhưng chỉ mất 1/3 thời gian và khả năng tính toán.
Khác Biệt Chính RLHF Vs DPO Là Gì?
Để hiểu rõ, hãy so sánh từng khía cạnh:
1. Số bước training: RLHF cần 3 bước (SFT, reward model, PPO). DPO chỉ cần 2 bước (SFT, preference optimization). Ít hơn một bước tức ít hơn nhiều thứ cần fine-tune.
2. Độ phức tạp: RLHF phải quan tâm 4 model cùng lúc (policy, reference, reward, value). DPO chỉ cần 2 model (policy và reference). Đơn giản hơn nhiều về kỹ thuật.
3. Ổn định: PPO trong RLHF khó stabilize, hay bị divergence (model bị “loạn”). DPO ổn định hơn vì nó có loss function đơn giản hơn, ít biến đổi đột ngột.
4. Hiệu suất: Trên nhiều benchmark như MT-Bench và AlpacaEval, DPO cho điểm cao hơn hoặc bằng RLHF. Meta (Facebook) đang dùng DPO để train Llama, thay vì RLHF.
5. Chi phí: DPO rẻ hơn khả năng. Bạn không cần train reward model riêng, tiết kiệm cả GPU lẫn thời gian.
Khi Nào Nên Dùng RLHF?
RLHF vẫn có nơi của nó. Khi bạn cần model hiểu “chooses wisely” trong tình huống phức tạp, nơi mà reward signal khó định lượng bằng preference pair, RLHF tốt hơn.
Ví dụ: Khi train model chơi cờ vua hay game phức tạp, bạn cần reward model để đánh giá mỗi nước đi. DPO khó xử lý vì mỗi “game state” có nhiều cách chơi khác nhau, không phải chỉ “A tốt hơn B”.
Các công ty lớn như OpenAI vẫn dùng RLHF cho production model của họ, vì họ có nguồn lực để fine-tune PPO cho ổn định. Khi bạn có team ML kinh nghiệm và GPU không phải vấn đề, RLHF có thể cho kết quả tối ưu hơn trong long run.
Khi Nào Nên Dùng DPO?
DPO là lựa chọn mặc định cho hầu hết open-source model hiện nay. Llama 3, Mistral, Qwen — tất cả đều dùng DPO hoặc biến thể của nó (như ORPO hay SimPO).
Nếu bạn là developer muốn fine-tune model cho riêng mình, DPO là starting point tốt nhất. Nó dễ hiểu, dễ implement, và có hàng trăm tutorial sẵn có. Bạn chỉ cần dữ liệu preference pairs (chosen và rejected), là có thể train.
Thực tế: Bạn có thể dùng DPO để fine-tune model cho customer support, chatbot nội bộ, hoặc content generation. Tất cả đều cho kết quả tốt mà không cần PhD về reinforcement learning.
Năm 2026 Nên Chọn Cái Nào?
Trong 2026, DPO và các biến thể của nó (ORPO, KTO, SimPO) đang trở thành standard. Ngành AI đang đi xa khỏi PPO vì nó phức tạp và khó reproduce.
Nhưng RLHF không chết. OpenAI, Anthropic, Google vẫn dùng các bản RLHF nặng hơn cho model flagship của họ. Sự khác biệt là họ thêm DPO vào pipeline như một bước trung gian, rồi dùng RLHF để “polish” thêm.
Riêng mình nghĩ rằng: với 90% use case thực tế, DPO là đủ rồi. Không cần phải làm RLHF nếu bạn không phải Google hay OpenAI.
Tổng Kết
RLHF và DPO đều là cách để làm AI “nghe lời” hơn. RLHF phù hợp với các org lớn có nhiều tài nguyên, cần maximum performance. DPO đơn giản, rẻ, ổn định — phù hợp với hầu hết chúng ta. Nếu bạn mới bắt đầu fine-tune model, hãy chọn DPO đầu tiên.
Cả hai phương pháp đều đáng có, và việc hiểu cả hai giúp bạn chọn đúng tool cho công việc của mình. DPO không thay thế RLHF — nó bổ sung vào toolbox, cho chúng ta thêm tùy chọn.
