Bạn đã nghe về các reasoning model như OpenAI o-series hay Gemini Deep Think chưa? Đằng sau khả năng “nghĩ từng bước” ấy có một nhân vật ít được nhắc tên: Process Reward Model, hay PRM. Đây là thứ quyết định việc AI nghĩ đúng hay sai ở từng bước, thay vì chỉ nhìn kết quả cuối cùng. Bài này mình sẽ giải thích PRM là gì, nó hoạt động ra sao và vì sao nó đang trở thành xương sống của các model suy luận thời đại nay.
Process Reward Model Là Gì?
Process Reward Model, viết tắt là PRM, là một mô hình AI được huấn luyện để chấm điểm từng bước trong chuỗi suy luận của một mô hình khác. Thay vì chờ AI trả lời xong rồi mới phán “đúng” hay “sai”, PRM theo dõi cả quá trình và gán điểm cho từng bước một.
Hãy tưởng tượng bạn dạy một học sinh giải toán. Có hai cách: nhìn đáp án cuối rồi chấm, hoặc ngồi cạnh theo dõi từng dòng tính toán. Cách thứ hai chính là tư duy của PRM. Nếu học sinh sai ở dòng thứ ba, bạn phát hiện ngay thay vì chỉ thấy đáp án sai mà không biết lỗ hổng nằm ở đâu.
PRM Khác Outcome Reward Model Ở Điểm Nào?
Trong RLHF truyền thống, người ta dùng Outcome Reward Model (ORM) — chỉ chấm điểm kết quả cuối cùng. Để hiểu rõ hơn về loại model này, bạn có thể đọc bài Reward Model là gì mà mình đã viết trước đó.
Sự khác biệt nằm ở độ mịn của tín hiệu phản hồi. ORM cho bạn một con số duy nhất sau khi mọi thứ kết thúc. PRM cho bạn cả một chuỗi con số, mỗi bước một cái. Nói cách khác, ORM trả lời câu hỏi “kết quả có đúng không”, còn PRM trả lời “quá trình có đang đi đúng hướng không”.
Sự khác biệt này nghe nhỏ nhưng lại cực kỳ quan trọng. Với bài toán nhiều bước như chứng minh toán hay viết code, một kết quả đúng có thể đến từ quá trình sai, và một kết quả sai vẫn có thể chứa chín bước đúng cùng một bước lạc đề. ORM không phân biệt được hai trường hợp này. PRM thì có.
PRM Hoạt Động Như Thế Nào?
Quy trình vận hành một PRM thường có ba phần. Đầu tiên, người ta cho model sinh ra lời giải từng bước cho một bài toán. Tiếp theo, PRM đọc từng bước và xuất ra một điểm số, thường nằm trong khoảng từ 0 đến 1, thể hiện xác suất bước đó đúng đắn. Cuối cùng, các điểm số này được dùng để huấn luyện hoặc chọn lọc lời giải tốt nhất.
Nghiên cứu nổi tiếng nhất về PRM là bài “Let’s Verify Step by Step” của OpenAI năm 2023. Kết quả khá gây sốc: trên tập bài toán khó GSM8K, dùng process supervision giúp giải đúng khoảng 78% số bài, so với 72% khi chỉ giám sát kết quả. Chênh lệch 6 điểm nghe không nhiều, nhưng ở quy mô hàng triệu lượt suy luận mỗi ngày, đó là cả một khoảng cách chất lượng.
Sau đó, Google tiếp tục đẩy mạnh hướng này với OmegaPRM năm 2024, dùng kỹ thuật tìm kiếm cây Monte Carlo để thu thập dữ liệu chấm điểm từng bước một cách tự động, giảm mạnh chi phí thuê người gán nhãn. Đây là bước tiến thực tế để PRM đủ rẻ mà triển khai quy mô lớn.
Vì Sao PRM Quan Trọng Với Reasoning Model?
Kỷ nguyên reasoning model bắt đầu từ cuối 2024, và PRM đóng vai trò trò then chốt trong đó. Lý do đơn giản: càng nhiều bước suy luận, càng nhiều chỗ để sai. Một model nghĩ 10.000 token để giải một bài toán thì việc chỉ chấm kết quả cuối gần như vô dụng, vì không gian sai lầm quá rộng.
PRM còn là công cụ chống reward hacking hiệu quả. Model AI rất giỏi “lợi dụng” điểm số: nếu chỉ được thưởng khi đáp án đúng, nó có thể học mẹo đoán mò bừa may ra đúng. Khi từng bước đều được kiểm soát, đường tắt kiểu đó bị chặn gần như hoàn toàn.
Ngoài ra, PRM kết hợp với chiến lược test-time compute tạo nên một cặp đôi quyền lực: cho model sinh nhiều lời giải, rồi dùng PRM như một giám khảo tuyển chọn phương án tốt nhất. Đây chính là kỹ thuật best-of-N sampling mà nhiều lab đang áp dụng.
Ví Dụ Thực Tế Để Hình Dung PRM
Giả sử bạn nhờ AI giải bài toán: “Một cửa hàng giảm 20% rồi thêm thuế 10%, giá cuối là bao nhiêu?”. Model trình bày bốn bước: tính giá sau giảm, tính tiền thuế, cộng lại, và kết luận. Một ORM chỉ thấy đáp án cuối đúng hay sai.
PRM thì chấm từng bước. Giả sử bước hai nhầm 10% thành 15% nhưng hai bước sau vô tình triệt tiêu lỗi đó, cho ra đáp án đúng. ORM sẽ cho điểm cao. PRM thì gắn cờ bước hai là sai. Nếu bạn là người kiểm toán AI, bạn muốn biết thông tin nào? Câu trả lời dễ đoán: bạn cần biết chỗ sai, vì lần sau lỗi đó sẽ không còn may mắn bù trừ nữa.
Hạn Chế Của Process Reward Model
PRM không phải viên đạn bạc. Thứ nhất, chi phí dữ liệu rất cao. Gán nhãn từng bước đòi hỏi người chấm thực sự hiểu bài toán, và số lượng nhãn tăng theo bậc với độ dài chuỗi suy luận. Thứ hai, PRM chỉ giỏi những gì nó được huấn luyện: với tác vụ sáng tạo hoặc chủ quan, khái niệm “bước đúng” trở nên mờ nhạt.
Thứ ba, chính PRM cũng có thể bị hack. Nếu PRM thiên vị các bước viết dài hoặc trích dẫn nhiều, model sẽ học cách “nói dài cho đẹp điểm” thay vì nghĩ sâu. Nếu bạn muốn hiểu tổng thể hệ thống phần thưởng trong huấn luyện AI, hãy đọc thêm bài PPO là gì.
Góc Nhìn Cá Nhân Của Mình
Mình thấy PRM thú vị ở một khía cạnh rất đời thường: nó phản ánh cách con người đánh giá nhau. Một ông chủ giỏi không chỉ nhìn kết quả tháng, mà còn nhìn cách nhân viên làm việc. Một giáo viên giỏi không chỉ chấm đáp án, mà đọc cả bài làm để tìm chỗ hiểu lầm tư duy.
Điều đáng suy ngẫm là PRM đang dạy AI điều mà trường học hay quên: quá trình quan trọng như kết quả. Một học sinh copy đáp án đúng vẫn là học sinh không hiểu bài. Một model AI đưa ra đáp án đúng qua suy luận rác vẫn là model nguy hiểm khi ra đời thực tế.
Nếu bạn đang theo dõi sự phát triển của reasoning model, đừng bỏ qua mảng này. Cùng với RLVR, PRM đại diện cho một triết lý mới trong huấn luyện AI: thưởng cho quy trình đúng, không chỉ thưởng cho điểm số cuối. Đó là bước tiến giúp AI từ “đoán giỏi” thành “nghĩ giỏi” thật sự.
Kết Luận
Process Reward Model là mô hình chấm điểm từng bước suy luận của AI, thay vì chỉ đánh giá kết quả cuối. Nó mang lại tín hiệu huấn luyện chi tiết hơn, giúp phát hiện lỗi sớm, chống reward hacking và nâng cao chất lượng các reasoning model. Đổi lại, chi phí dữ liệu và rủi ro bị khai thác là hai cái giá phải trả.
Nếu bạn muốn hiểu sâu hơn về hệ sinh thái phần thưởng trong AI, hãy đọc tiếp bài về Reward Model và RLVR trên blog của mình. Series thuật ngữ này sẽ còn nhiều khái niệm thú vị phía trước.
