Attention Sink

Attention Sink Là Gì? Hiện Tượng AI Dồn Chú Vào Token Đầu Câu

Attention Sink Là Gì? Attention Sink là hiện tượng mô hình ngôn ngữ cứ “đổ” một lượng attention khổng lồ vào vài token đầu tiên...