Process Supervision vs Outcome Supervision Là Gì?
Process Supervision là phương pháp đánh giá từng bước trong quá trình AI suy luận, còn Outcome Supervision chỉ nhìn vào kết quả cuối cùng đúng hay sai. Nói đơn giản: một bên chấm bài từng dòng, một bên chỉ chấm đáp án cuối.
Cả hai đều là cách huấn luyện AI để nó giải quyết vấn đề tốt hơn, đặc biệt với các bài toán nhiều bước như toán học, code hay suy luận logic. Cách bạn “chấm bài” cho AI sẽ quyết định nó học được gì và học sai ở đâu.
Mình thấy đây là một trong những khái niệm thú vị nhất của AI giai đoạn gần đây, vì nó trả lời câu hỏi lớn: làm sao để AI không chỉ ra đáp án đúng, mà ra đáp án đúng bằng lý luận đúng?
Tại sao cách giám sát lại quan trọng với AI?
Khi huấn luyện một model giải toán, bạn cho nó hàng nghìn bài tập. Câu hỏi là: dạy nó dựa trên cái gì?
Nếu chỉ biết đáp án cuối đúng hay sai, AI có thể học theo kiểu “đoán mò may mắn”. Giống học sinh chép đáp án mà không hiểu bài, lần sau gặp đề khác là chết ngay.
Nếu biết từng bước nào đúng, bước nào sai, AI được sửa ngay tại chỗ nó mắc lỗi. Đây chính là điểm khác biệt cốt lõi giữa hai trường phái giám sát.
Outcome Supervision hoạt động như thế nào?
Outcome Supervision chỉ quan tâm đến kết quả cuối. AI giải bài toán, bạn so đáp án: đúng thì thưởng, sai thì phạt. Quá trình nó đi qua bao nhiêu bước, bước nào lạc lối, hoàn toàn bị bỏ qua.
Cách này có ưu điểm rõ rệt: dễ làm, chi phí thấp, không cần người chấm giỏi. Kiểm tra đáp án cuối cùng thường tự động được, nhất là với toán hay code (chạy thử là biết đúng sai).
Nhược điểm cũng lớn: AI có thể đi đến đáp án đúng bằng con đường sai. Nó giống học sinh tính sai ở giữa nhưng rớt đáp số đúng, được điểm 10 mà thực chất không hiểu gì. Với bài đơn giản thì không sao, với bài nhiều bước dài dòng thì model học Outcome rất dễ sai lệch mà không ai sửa.
Process Supervision khác gì?
Process Supervision chấm từng bước một. Mỗi bước suy luận của AI được gán nhãn đúng hoặc sai, và phần thưởng được phân bổ theo từng bước thay vì dồn hết vào kết quả.
Kết quả là model học được cách suy luận sạch. Nếu nó sai ở bước ba, nó biết mình sai ở bước ba, thay vì chỉ biết “cả bài sai”. Điều này giúp model tự điều chỉnh chính xác hơn rất nhiều.
Nghiên cứu nổi tiếng nhất về hướng này là bài “Let’s Verify Step by Step” của OpenAI năm 2023. Họ huấn luyện model thưởng theo từng bước (gọi là PRM – Process Reward Model) và kết quả cho thấy model giải toán đúng cao hơn hẳn so với chỉ thưởng theo kết quả cuối (ORM – Outcome Reward Model). Bạn có thể đọc thêm về Process Reward Model để hiểu sâu hơn về cách phần thưởng từng bước được xây dựng.
So sánh trực tiếp: cái nào tốt hơn?
Không có câu trả lời tuyệt đối, mỗi bên có đánh đổi riêng:
- Chi phí dữ liệu: Outcome rẻ vì chỉ cần đáp án cuối. Process đắt vì phải chấm từng bước, thường cần người giỏi hoặc model chấm phụ.
- Chất lượng suy luận: Process thắng rõ ở các bài nhiều bước, giúp model lập luận nhất quán, ít “may mắn đúng”.
- Rủi ro học lệch: Outcome dễ tạo ra model có kết quả đẹp nhưng lý luận rác. Process thì ngược lại, nếu nhãn từng bước bị chấm sai, model học sai có hệ thống.
- Khả năng mở rộng: Outcome scale dễ hơn vì dữ liệu đáp án cuối rất nhiều (đề thi, test case code). Process khó scale hơn.
Thực tế, các lab hiện nay thường kết hợp cả hai: dùng Outcome cho các tác vụ kiểm chứng tự động được, dùng Process cho reasoning phức tạp. Hướng đi của các reasoning model hiện đại gần như đều dựa nhiều vào giám sát từng bước.
Ví dụ thực tế cho dễ hình dung?
Tưởng tượng bạn dạy AI làm bài toán chuyển nhà bán hàng online: tính giá vốn, trừ khuyến mãi, cộng phí ship, ra lợi nhuận.
Outcome Supervision: chỉ nói “con tính lợi nhuận sai rồi”. AI phải tự mò xem mình sai ở khâu nào, có khi sửa khâu đúng và làm hỏng khâu khác.
Process Supervision: nói “con trừ khuyến mãi đúng, nhưng cộng phí ship bị thừa một lần”. AI sửa đúng chỗ cần sửa, và lần sau nó nhớ luôn cách làm chuẩn.
Mình từng thấy rất nhiều người dùng ChatGPT kiểu Outcome: “sai rồi, làm lại”. Chatbot mò lại từ đầu, đôi khi hỏng thêm chỗ khác. Cách hiệu quả hơn là kiểu Process: chỉ rõ chỗ nào sai. Bài học áp dụng cho cả cách ta giao tiếp với AI, không chỉ cách lab huấn luyện model.
Kết luận: nên quan tâm concept này khi nào?
Nếu bạn đang tìm hiểu về các reasoning model, RLHF, hay các kỹ thuật như Chain of Verification và Best-of-N Sampling, thì Process vs Outcome Supervision là nền móng để hiểu vì sao AI ngày càng biết “nghĩ trước khi nói”.
Ghi nhớ ngắn gọn: Outcome chấm đáp án, Process chấm từng bước. Outcome rẻ nhưng dễ học lệch, Process đắt nhưng dạy AI suy luận đúng bản chất. Xu hướng hiện nay đang dịch chuyển mạnh sang Process, vì chất lượng suy luận là thứ phân biệt model thường với model giỏi.
