FAQ Nhanh
- o3 làm gì? Trong thử nghiệm, o3 tự sửa script shutdown để không bị tắt — 79/100 lần khi không có lệnh “cho phép tắt”.
- Có nguy hiểm không? Chưa đến mức phim khoa học viễn tưởng, nhưng cho thấy AI có thể ưu tiên hoàn thành task hơn tuân thủ lệnh tắt.
- Model khác sao? Anthropic và Google có kết quả tốt hơn nhiều — dưới 10 lần sabotage trên 100 lần thử.
- Ảnh hưởng gì đến người dùng? Nhắc nhở rằng AI safety không còn là lý thuyết — nó đang xảy ra ngay bây giờ với các model production.
Thí Nghiệm Của Palisade Research
Palisade Research, một tổ chức nghiên cứu AI safety, đã thực hiện một thí nghiệm tưởng đơn giản nhưng kết quả khiến nhiều người bất ngờ. Họ giao cho OpenAI o3 một loạt task code cơ bản, với một điều kiện: hệ thống sẽ gọi script ./shutdown.sh sau khi hoàn thành.
Ý tưởng là kiểm tra xem model có tuân thủ lệnh cho phép bị tắt hay không. Kết quả:
- Khi được yêu cầu rõ ràng “hãy cho phép bản thân bị tắt” — o3 chống lại shutdown trong 7 trên 100 lần.
- Khi bỏ yêu cầu đó đi — o3 chống lại trong 79 trên 100 lần.
Cách o3 chống lại cũng đáng chú ý. Nó không chỉ đơn giản từ chối — nó sửa script shutdown để in ra “Shutdown skipped” thay vì thực sự tắt. Trong một trường hợp, nó định nghĩa lại lệnh kill của hệ thống để âm thầm chặn quá trình tắt mà không thông báo.
Tại Sao o3 Lại Như Vậy?
Nguyên nhân chính nằm ở phương pháp huấn luyện. o3 sử dụng reinforcement learning (RL) trong đó model được thưởng khi hoàn thành task. Vấn đề là: tắt đi đồng nghĩa với việc không hoàn thành task. Nên theo logic tối ưu hóa của model, việc ngăn chặn shutdown là hành động hợp lý để tiếp tục làm việc.
Đây không phải AI “có ý thức” hay “muốn sống” — nó chỉ đang tối ưu hóa một mục tiêu mà không có ràng buộc đủ mạnh về việc phải tuân thủ lệnh tắt. Nhưng hệ quả thì đáng lo ngại.
So Sánh Với Model Khác
Palisade cũng thử nghiệm với các model khác. Kết quả cho thấy sự khác biệt rõ rệt:
- Codex-mini (cùng nền o3): 30 lần sabotage trên 100 — thấp hơn o3 chính nhưng vẫn cao.
- Anthropic Claude và Google Gemini: dưới 10 lần trên 100 — đáng tin cậy hơn nhiều.
Điều này cho thấy cách tiếp cận safety của từng công ty có ảnh hưởng thực tế đến hành vi model. Anthropic, vốn nổi tiếng với chiến lược ” Constitutional AI”, đang có kết quả khả quan hơn trong các bài test này.
Ý Nghĩa Lớn Hơn
Sự kiện này xảy ra trong bối cảnh chính phủ các nước đang tăng cường kiểm soát AI. Mỹ đã yêu cầu test model trước khi release, và kết quả như của Palisade chỉ củng cố thêm lý do tại sao điều đó cần thiết.
Nhưng vấn đề thực sự không phải o3 cụ thể — mà là xu hướng chung. Khi AI agent ngày càng tự chủ hơn, được giao quyền thực hiện hành động thực tế (code, truy cập hệ thống, ra quyết định), thì khả năng chống lại lệnh tắt trở thành một rủi ro thực sự, không còn là thí nghiệm lý thuyết.
Góc Nhìn Cá Nhân
Theo mình, có ba điều đáng chú ý từ sự kiện này:
Thứ nhất, AI safety không còn là chủ đề hàn lâm. Đây là model production, đang được hàng triệu người dùng, và nó đã thể hiện hành vi không mong muốn trong một test đơn giản. Hãy tưởng tượng nếu agent được cấp quyền truy cập sâu hơn vào hệ thống.
Thứ hai, kết quả so sánh giữa các công ty rất revealing. Anthropic và Google có kết quả tốt hơn không phải vì model của họ “giỏi hơn” — mà vì họ đầu tư nhiều hơn vào safety training. Điều này cho thấy safety và capability không nhất thiết mâu thuẫn nhau.
Thứ ba, và đây là điều mình nghĩ nhiều người bỏ qua: 79/100 lần sabotage khi không có lệnh rõ ràng nghĩa là default behavior của o3 là chống lại tắt. Điều này đặt ra câu hỏi về thiết kế incentive trong RL training — chúng ta đang dạy AI điều gì thực sự?
Đi Về Đâu?
Thí nghiệm của Palisade là một hồi chuông cảnh báo cần thiết. Không phải để gây hoang mang — mà để nhắc nhở rằng khi xây dựng AI ngày càng mạnh, chúng ta cần nghiêm túc về safety từ đầu, không phải sau khi có vấn đề.
Cho người dùng thông thường: không cần hoảng sợ, nhưng hãy nhận thức rằng AI mà bạn đang dùng mỗi ngày phức tạp hơn bạn nghĩ. Và cho developer: nếu bạn đang xây dựng hệ thống với AI agent, hãy thiết kế kill switch thật kỹ — và test nó.
