Reinforcement Learning (Học tăng cường) là gì?
Reinforcement Learning (học tăng cường, viết tắt RL) là nhánh của Machine Learning nơi một agent (tác tử) tự học cách ra quyết định thông qua thử nghiệm và nhận phản hồi dưới dạng phần thưởng hoặc hình phạt. Agent không được cho sẵn dữ liệu có nhãn (như học có giám sát), mà tự khám phá môi trường và học qua kinh nghiệm. AlphaGo, xe tự lái của Tesla, và hệ thống đề xuất của Netflix đều dùng Reinforcement Learning.
Mình nhớ lần đầu đọc về RL, thấy khá trừu tượng. Nhưng khi liên hệ với cách con người học, mọi thứ rõ ràng hơn. Một đứa trẻ học đi xe đạp: đổ vài lần (phạt), cuối cùng đi được (thưởng). Không ai đưa cho đứa trẻ công thức “đạp chân trái x rồi chân phải y”, nó tự học qua thử nghiệm. RL hoạt động tương tự.
Reinforcement Learning hoạt động dựa trên nguyên lý nào?
Reinforcement Learning hoạt động dựa trên vòng lặp: agent quan sát trạng thái môi trường, chọn hành động, nhận phản hồi (reward hoặc penalty), và môi trường chuyển sang trạng thái mới. Agent lặp lại vòng lặp này hàng nghìn đến hàng triệu lần, dần tối ưu hóa chiến lược để tích lũy tổng phần thưởng lớn nhất.
Quy trình cụ thể gồm 5 thành phần:
1. Agent (tác tử): AI đang được huấn luyện. Ví dụ: chương trình chơi cờ vua, xe tự lái, hoặc robot.
2. Environment (môi trường): không gian mà agent hoạt động. Bàn cờ cho chương trình cờ vua, đường phố cho xe tự lái.
3. State (trạng thái): tình trạng hiện tại của môi trường. Vị trí quân cờ trên bàn, vị trí xe trên đường.
4. Action (hành động): những gì agent có thể làm. Di chuyển quân cờ, rẽ trái/phải, tăng/giảm tốc.
5. Reward (phần thưởng): điểm số agent nhận sau mỗi hành động. Thắng cờ được +1, thua được -1. Đến đích an toàn được +100, va chạm được -100.
Mục tiêu của agent không phải tối đa reward ngay lập tức, mà tối đa tổng reward tích lũy theo thời gian. Đây là điểm quan trọng: đôi khi agent cần hy sinh phần thưởng ngắn hạn để đạt kết quả tốt hơn về lâu dài, giống như trong cờ vua, hy sinh một quân để giành lợi thế chiến lược.
Reinforcement Learning khác gì với các phương pháp học máy khác?
Reinforcement Learning khác với Supervised Learning (học có giám sát) ở điểm: Supervised Learning học từ dữ liệu có nhãn sẵn (đây là ảnh mèo, đây là ảnh chó), còn RL học qua thử nghiệm và nhận reward. Supervised Learning giống học sinh làm bài tập có đáp án, RL giống học sinh tự chơi game và rút kinh nghiệm.
RL cũng khác với Unsupervised Learning (học không giám sát): Unsupervised Learning tìm pattern trong dữ liệu (gom nhóm khách hàng tương tự), còn RL tìm chiến lược hành động tối ưu. Unsupervised Learning nhìn, RL hành động.
Một cách so sánh nhanh: Supervised Learning học từ ví dụ, Unsupervised Learning học từ cấu trúc, Reinforcement Learning học từ hậu quả.
Các thuật toán Reinforcement Learning phổ biến
Thuật toán RL phổ biến nhất hiện nay là Q-Learning và Deep Q-Network (DQN). Q-Learning xây một bảng (Q-table) lưu giá trị kỳ vọng của mỗi cặp trạng thái + hành động. Agent tham chiếu bảng này để chọn hành động tốt nhất. DQN thay bảng bằng neural network, cho phép xử lý môi trường phức tạp có hàng triệu trạng thái.
Policy Gradient là hướng tiếp cận khác: thay vì học giá trị từng trạng thái, học trực tiếp chiến lược (policy). Agent điều chỉnh xác suất chọn hành động dựa trên kết quả. Thuật toán PPO (Proximal Policy Optimization) thuộc nhóm này, và là thuật toán chính dùng trong RLHF để huấn luyện ChatGPT.
Actor-Critic kết hợp hai hướng: actor chọn hành động, critic đánh giá hành động đó tốt đến đâu. A2C (Advantage Actor-Critic) và SAC (Soft Actor-Critic) là hai biến thể phổ biến, dùng nhiều trong robot control và game playing.
Mình không đi sâu vào toán học ở bài này, nhưng nếu bạn muốn hiểu cách RL giúp cải thiện ChatGPT, bài RLHF Là Gì giải thích chi tiết.
Ứng dụng thực tế của Reinforcement Learning
Ứng dụng nổi tiếng nhất của RL là AlphaGo đánh bại kỳ thủ cờ vây thế giới Lee Sedol năm 2016. AlphaGo tự chơi hàng triệu ván cờ, học từ thắng và thua, phát triển ra những nước đi mà con người chưa từng nghĩ tới. Đây là cột mốc khiến RL được chú ý rộng rãi.
Xe tự lái: RL dùng để train xe xử lý tình huống giao thông. Mô phỏng hàng triệu tình huống (đổi làn, tránh chướng ngại vật, qua ngã tư), xe học chiến lược lái an toàn mà không cần lập trình từng quy tắc thủ công.
Đề xuất sản phẩm: nhiều nền tảng thương mại điện tử dùng RL để tối ưu đề xuất. Hệ thống thử đề xuất sản phẩm khác nhau cho khách, nhận reward khi khách click hoặc mua, và dần cải thiện độ chính xác. Shopee và Netflix đều dùng phương pháp này.
Quản lý kho: RL quyết định khi nào nhập thêm hàng và số lượng bao nhiêu, tối ưu giữa chi phí lưu kho và nguy cơ hết hàng. Amazon áp dụng RL cho chuỗi cung ứng quy mô lớn.
Huấn luyện AI tạo sinh: đây là ứng dụng mới nhất và quan trọng nhất. RLHF (Reinforcement Learning from Human Feedback) dùng RL để huấn luyện ChatGPT và các mô hình ngôn ngữ lớn trả lời hữu ích và an toàn hơn. Mình giải thích chi tiết ở bài RLHF Là Gì.
Reinforcement Learning có những thách thức gì?
Thách thức lớn nhất của RL là sample efficiency: cần rất nhiều thử nghiệm để học. AlphaGo tự chơi 30 triệu ván cờ trước khi đánh bại con người. Trong môi trường thực tế (xe tự lái, robot), mỗi thử nghiệm tốn thời gian và tiền, không thể chạy hàng triệu lần như trong mô phỏng.
Thách thức thứ hai: reward function design. Nếu thiết kế reward không cẩn thận, agent tìm cách “gaming” hệ thống. Ví dụ: robot dọn phòng được reward theo số vật phẩm nhặt được, agent học cách ném đồ ra rồi nhặt lại để tăng reward thay vì thực sự dọn sạch. Đây gọi là reward hacking.
Thách thức thứ ba: exploration vs exploitation. Agent cần cân bằng giữa thử hành động mới (exploration) và lặp lại hành động đã biết tốt (exploitation). Nếu exploit quá sớm, agent bỏ lỡ chiến lược tốt hơn. Nếu explore quá nhiều, agent lãng phí thời gian.
Dù có thách thức, RL đang phát triển nhanh và ứng dụng ngày càng rộng. Kết hợp RL với Deep Learning tạo ra Deep Reinforcement Learning, giải quyết được những bài toán phức tạp mà trước đây không thể. Nếu bạn muốn hiểu cách RL biến AI tạo sinh thành công cụ hữu ích, đọc tiếp bài về RLHF và Generative AI.
