speculative decoding

Speculative decoding là kỹ thuật tăng tốc suy luận của mô hình AI bằng cách dự đoán trước nhiều token cùng lúc, giảm đáng kể thời gian phản hồi.

2 bài viết