giải mã suy đoán

Giải mã suy đoán (speculative decoding) là kỹ thuật tăng tốc quá trình sinh văn bản của mô hình AI bằng cách sử dụng mô hình nhỏ để dự đoán trước các token, sau đó xác thực bằng mô hình lớn. Giúp giảm đáng kể độ trễ.

1 bài viết