Có một giai thoại khá phổ biến trong giới AI: người ngoài ngành tưởng mỗi model mới ra mắt là một đột phá bí ẩn nào đó của thiên tài. Sự thật nhàm chán hơn nhiều. Từ năm 2020, giới nghiên cứu phát hiện hiệu năng của model tăng theo một quy luật toán học ổn định đến mức có thể vẽ đường cong ra giấy trước khi train. Quy luật đó gọi là Scaling Laws, và nó chính là lý do các ông lớn dám đặt cọc hàng chục tỷ USD để mua GPU.
Scaling Laws là gì?
Scaling Laws là nhóm định luật thực nghiệm mô tả việc hiệu năng của mô hình AI cải thiện theo quy luật lũy thừa khi bạn tăng ba thứ: số tham số, lượng dữ liệu huấn luyện và lượng tính toán. Nói thô ra: chi tiền gấp mười, chất lượng tăng lên một lượng khá dễ đoán trước.
Năm 2020, nhóm nghiên cứu của OpenAI công bố bài báo nổi tiếng do Jared Kaplan và đồng nghiệp dẫn dắt. Họ chỉ ra rằng loss, tức sai số của model, giảm theo đường cong lũy thừa rất mượt suốt nhiều bậc độ lớn. Điều đó nghĩa là: train xong một model 1 tỷ tham số, bạn vẽ đường cong, ngoại suy ra, và biết trước model 100 tỷ tham số sẽ đạt mức nào mà không cần thực sự train thử.
Tại sao Scaling Laws lại quan trọng đến vậy?
Trước khi có scaling laws, việc tăng kích thước model giống đánh bạc. Có những model to hơn lại tệ hơn model nhỏ, và chẳng ai giải thích được. Không CEO nào đủ gan cam kết xây data center hàng tỷ USD cho một kết quả không chắc chắn.
Có scaling laws, cuộc chơi trở thành bài kế toán. Bạn tính được train model gấp mười lần tốn bao nhiêu, đạt chất lượng nào, và liệu doanh thu có bù lại không. Toàn bộ cuộc đua GPU của thập kỷ này, từ OpenAI, Google đến Anthropic, đều đứng trên nền tảng niềm tin rằng đường cong này còn tiếp tục đi xuống như dự đoán.
Ba yếu tố chính trong Scaling Laws là gì?
Mọi scaling laws đều quay quanh ba biến số, và bạn nên nhớ cả ba vì chúng xuất hiện khắp nơi trong tin tức AI:
- Tham số (parameters): số “nút” chứa tri thức của model. Model càng nhiều tham số càng nhớ được thế giới chi tiết hơn.
- Dữ liệu (tokens): lượng chữ model được đọc trong lúc pretraining. Đọc ít mà model to thì giống sinh viên giỏi nhưng bỏ học giữa kỳ.
- Tính toán (compute): tổng sức mạnh GPU đổ vào việc train, thường đo bằng FLOPs. Đây là thứ quy đổi trực tiếp thành tiền.
Điểm thú vị là quan hệ lũy thừa rất “hiền”: mỗi lần nhân mười lần compute, loss chỉ giảm một lượng gần như cố định. Hệ quả hai mặt. Một là tiến bộ dễ dự báo. Hai là mỗi bậc thang mới đắt gấp mười lần bậc trước, và cứ thế leo thang cho đến khi cả ngành thấy giá GPU là nỗi ám ảnh.
Chinchilla đã thay đổi cách hiểu về scaling như thế nào?
Bài Kaplan 2020 gợi ý hướng đi là dồn tiền vào model to, dữ liệu chỉ cần vừa phải. Đến năm 2022, DeepMind công bố nghiên cứu Chinchilla và lật ngược kết luận: với ngân sách cố định, kết quả tốt nhất đến từ model nhỏ hơn nhưng được nuôi bằng nhiều dữ liệu hơn, cụ thể khoảng 20 token cho mỗi tham số.
Theo chuẩn mới này, GPT-3 với 175 tỷ tham số bị coi là undertrained, tức model to nhưng ăn không đủ no. Hệ quả thực tế bạn đang thấy: các model vài tỷ tham số như họ Llama train đúng chuẩn lại vượt model cũ hàng chục tỷ tham số, đồng thời chạy rẻ hơn nhiều. Trend này cũng là chất liệu chính của bài Small Language Model mình đã viết trước đó.
Scaling Laws còn đúng trong kỷ nguyên reasoning model không?
Khoảng 2024 trở đi, giới nghiên cứu gặp hai chuyện khó chịu. Một là bức tường dữ liệu: text chất lượng cao trên Internet gần như đã bị các model lớn đọc hết. Hai là chi phí mỗi bậc scaling tăng vọt trong khi lợi nhuận biên thu hẹp dần. Nhiều người tuyên bố scaling đã chết.
Thay vì bỏ cuộc, giới này đổi trục. Thay vì đổ compute vào lúc train, họ đổ compute vào lúc chạy: cho model nghĩ lâu hơn trước khi trả lời, luyện qua reinforcement learning với dữ liệu tổng hợp. Đó là công thức đứng sau các reasoning model như o1 hay dòng model suy luận đang phổ biến hiện nay.
Góc nhìn cá nhân của mình: scaling không chết, chỉ đổi hướng. Đường cong lũy thừa vốn là tính chất của cả quá trình học, nên nó vẫn còn đúng, chỉ là người ta vẽ trên trục mới. Nhiều khả năng lao động “suy nghĩ thêm” của model còn bùng nổ các emergent abilities mà bài trước mình có nhắc tới.
Hiểu Scaling Laws giúp gì cho người làm thực tế?
Thứ nhất, đọc tin tức AI không bị dụ dỗ. Một model “tiến bộ vượt bậc” nhiều khi chỉ là một bậc scaling đi đúng như dự đoán từ hai năm trước, không phải phép màu. Thứ hai, chọn model cho sản phẩm minh bạch hơn: model nhỏ được train đúng chuẩn Chinchilla giá rẻ bất ngờ so với chất lượng, vì Provider không phải trả tiền cho phần tham số thừa.
Thứ ba, và mình thấy quan trọng nhất với người làm nội dung: khi dữ liệu trở thành giới hạn của cả ngành, dữ liệu chất lượng trở thành tài sản. Đây là lý do các nền tảng hết lần này đến lần khác chặn AI crawler, và là gốc rễ của mọi cuộc chiến bản quyền đang diễn ra hàng tuần.
Nên nhớ gì về Scaling Laws?
Scaling Laws biến AI từ một nghề may rủi thành ngành có thể lập kế hoạch tài chính. Ba điều đáng nhớ: hiệu năng tăng theo lũy thừa của tham số, dữ liệu và compute; Chinchilla dạy cả ngành train model nhỏ hơn nhưng no dữ liệu hơn; và cuộc đua hiện nay chỉ dịch chuyển từ compute lúc train sang compute lúc chạy. Hiểu ba điều đó, bạn hiểu được nửa kịch bản của cả ngành AI thập kỷ này, và cũng hiểu vì sao giá API cứ đều đặn giảm mà chất lượng cứ đều đặn tăng.
