Early Exit Là Gì?
Early Exit (thoát sớm) là kỹ thuật cho phép mô hình deep learning dừng tính toán ngay tại một lớp trung gian nếu đã đủ tự tin về kết quả, thay vì bắt mọi yêu cầu chạy qua toàn bộ các lớp của mạng. Câu hỏi dễ sẽ tiêu tốn ít tài nguyên, câu hỏi khó mới phải chạy hết chiều sâu mô hình.
Hãy tưởng tượng mạng nơ-ron như một dây chuyền 20 công đoạn. Thực ra không phải sản phẩm nào cũng cần qua đủ 20 công đoạn, có món kiểm tra đến khâu thứ 5 là biết đạt chuẩn rồi. Early Exit chính là việc đặt “lối thoát” ở giữa dây chuyền: đạt ngưỡng chất lượng thì ra luôn, không chạy nốt phần còn lại.
Theo mình đây là một ý tưởng rất hợp lý, vì trong thực tế phần lớn yêu cầu đưa vào mô hình đều khá dễ. Ép mọi thứ chạy hết mạng là lãng phí, giống như bắt chuyên gia giải cả những câu hỏi trình độ tiểu học.
Early Exit Hoạt Động Như Thế Nào?
Một hệ thống early exit thường có ba thành phần chính: nhánh thoát, ngưỡng tự tin và quy tắc quyết định. Ba thứ này phối hợp với nhau để quyết định xem mỗi yêu cầu nên dừng ở đâu.
Nhánh thoát (exit branch) là một bộ phân loại nhỏ được gắn vào lớp trung gian của mạng. Nó đọc đặc trưng tại lớp đó và đưa ra dự đoán riêng. Một mạng có thể có nhiều nhánh thoát ở các độ sâu khác nhau, càng sâu thì đặc trưng càng giàu thông tin.
Ngưỡng tự tin (confidence threshold) là điều kiện để rời mạng sớm. Ví dụ đơn giản: nếu nhánh thoát dự đoán với độ tin cậy trên 90 phần trăm thì chấp nhận kết quả, ngược lại thì tiếp tục chạy sâu hơn và thử lại ở nhánh thoát kế tiếp. Ví dụ ảnh nét rõ con mèo sẽ thoát sớm, còn ảnh mờ hoặc con vật lạ phải chạy đến lớp cuối cùng.
Để các nhánh thoát hoạt động được, người ta phải huấn luyện chúng bằng thêm hàm mất mát phụ (auxiliary loss). Không có bước này, nhánh giữa mạng chỉ là đặc trưng thô, đoán bừa còn tệ hơn không đoán.
Early Exit Khác Gì Early Stopping?
Hai khái niệm này hay bị nhầm với nhau vì tên gọi na ná, nhưng chúng giải quyết hai bài toán hoàn toàn khác nhau. Early Stopping là kỹ thuật trong lúc huấn luyện: dừng việc train khi điểm số trên tập kiểm định ngừng cải thiện, nhằm tránh overfitting. Bạn có thể đọc lại bài Early Stopping để nắm rõ hơn.
Early Exit thì xảy ra trong lúc suy luận, tức là lúc mô hình đã xong và đang phục vụ người dùng thật. Nó không liên quan gì đến việc học thêm hay học bớt, chỉ quan tâm một thing duy nhất: có cần chạy hết mạng hay không. Một cái quản lý khi nào ngừng học, một cái quản lý khi nào ngừng chạy.
Early Exit Mang Lại Lợi Ích Gì?
Lợi ích rõ rệt nhất là tốc độ. Nếu 70 phần trăm yêu cầu thoát sau một phần tư mạng, chi phí inference trung bình giảm mạnh mà không cần đổi sang mô hình nhỏ hơn. Đây là điểm mình thích nhất: tăng hiệu năng bằng cách thông minh hơn, không phải bằng cách hạ chất lượng mô hình.
Thứ hai là tiết kiệm năng lượng, cực kỳ quan trọng với thiết bị di động và edge device. Một chiếc camera thông minh lọc ảnh mỗi giây, nếu ảnh rõ thì thoát sớm, pin và chip đều thở dễ hơn. Thứ ba là giảm độ trễ, vì các yêu cầu dễ được trả lời trong vài chục milli giây thay vì chờ hết toàn bộ mạng.
Trong thế giới mô hình ngôn ngữ lớn, ý tưởng này còn mở rộng thành việc bỏ qua từng lớp của transformer thay vì chỉ thêm nhánh phân loại. Meta từng công bố nghiên cứu LayerSkip cho phép decoder bỏ lớp, còn hướng Mixture of Depths cho phép mô hình tự quyết lớp nào đáng chạy trong từng token.
Early Exit Có Nhược Điểm Gì Không?
Có, và cái lớn nhất là đánh đổi giữa độ chính xác và tốc độ. Mô hình thần kinh nổi tiếng là “tự tin sai”, tức là đưa ra dự đoán sai với độ tin cậy rất cao. Nếu ngưỡng thoát đặt lỏng, những ví dụ khó nhưng bị phán nhầm là dễ sẽ nhận câu trả lời sai từ nhánh giữa mạng.
Thứ hai là việc chọn ngưỡng khó hơn tưởng tượng. Ngưỡng hoạt động tốt trên dữ liệu hôm nay có thể hỏng khi phân phối dữ liệu thay đổi. Thứ ba, khi phục vụ theo batch, mỗi mẫu trong batch thoát ở lớp khác nhau khiến việc gom tính toán chung trở nên rối rắm, quản lý bộ nhớ phức tạp hơn nhiều so với chạy thẳng một lượt.
Cuối cùng, mô hình phải được huấn luyện có chủ đích để các nhánh giữa đủ mạnh. Việc này làm phức tạp thêm quy trình train, và không phải kiến trúc nào cũng thêm được nhánh thoát một cách trivial.
Khi Nào Nên Dùng Early Exit?
Theo mình, early exit phù hợp nhất khi tác vụ của bạn có tỷ lệ lớn mẫu dễ nhận diện. Ví dụ lọc spam: đa số thư rác hiển nhiên, thoát sớm xử lý được phần lớn, chỉ số ít trường hợp lươn lẹo mới cần chạy sâu. Ngược lại, tác vụ mà mọi đầu vào đều khó như chẩn đoán y khoa thì lợi ích thấp, rủi ro lại cao.
Early exit cũng rất đáng cân nhắc khi bạn phải trả phí theo lượng tính toán, hoặc khi sản phẩm chạy trên thiết bị có pin và chipset hạn chế. Ngoài ra nó kết hợp tốt với các kỹ thuật khác cùng triết lý “dễ thì nhanh, khó thì chậm” như speculative decoding hay model routing, mỗi cái tối ưu một khâu trong pipeline.
Kết Luận
Early Exit là kỹ thuật cho phép mạng nơ-ron rời khỏi hành trình sớm khi đã đủ tự tin, thay vì cứ phải chạy đến lớp cuối cùng trong mọi trường hợp. Cái hay của nó nằm ở chỗ thừa nhận một sự thật đơn giản: không phải câu hỏi nào cũng khó như nhau, nên không phải câu trả lời nào cũng cần cùng một lượng tính toán.
Nếu bạn đang tối ưu chi phí inference cho sản phẩm AI, đây là một trong những hướng đáng thử trước khi nghĩ đến việc đổi model nhỏ hơn. Chỉ cần nhớ hai điều: đo kỹ tỷ lệ mẫu dễ trên dữ liệu thật của bạn, và kiểm tra lại độ chính xác sau khi bật thoát sớm. Hai công việc đó rẻ hơn nhiều so với việc ngồi sửa hậu quả từ một ngưỡng đặt sai.
