Reranking Là Gì?
Reranking (sắp xếp lại kết quả) là bước thứ hai trong quy trình tìm kiếm, khi hệ thống lấy một tập kết quả thô từ bước một và dùng một mô hình mạnh hơn để xếp lại thứ tự cho chính xác hơn. Nói đơn giản: bước một tìm nhanh cho nhiều, bước hai chậm hơn nhưng thông minh hơn, xếp lại cho đúng.
Trong các hệ thống RAG (Retrieval-Augmented Generation) hay semantic search, reranking gần như đã trở thành tiêu chuẩn. Không có reranking, bạn dễ đưa cho AI những đoạn văn bản sai trọng tâm, dẫn đến câu trả lời chất lượng thấp.
Tại Sao Cần Reranking Khi Đã Có Semantic Search?
Đây là câu hỏi rất hay. Nhiều người nghĩ rằng vector search đã đủ tốt, nhưng thực tế có một bài toán mà ngành tìm kiếm gọi là trade-off giữa tốc độ và độ chính xác.
Bước tìm kiếm đầu tiên (retrieval) thường dùng bi-encoder: chuyển query và tài liệu thành vector, rồi tính cosine similarity giữa các vector. Cách này cực nhanh vì vector đã được tính sẵn, chỉ cần so sánh. Nhưng nó có điểm yếu — query và tài liệu được mã hóa riêng biệt, không “nhìn” nhau, nên dễ bỏ sót những tương tác tinh tế giữa hai bên.
Reranking dùng cross-encoder: đưa cả query và tài liệu vào cùng một mô hình cùng lúc. Mô hình đọc cả hai, hiểu mối quan hệ, rồi cho ra điểm chính xác. Đổi lại, nó chậm hơn nhiều vì phải xử lý từng cặp query-tài liệu.
Mình hay ví dụ: retrieval như tuyển CV qua email — nhanh, lọc được số lượng lớn. Reranking như phỏng vấn trực tiếp — chậm nhưng chọn đúng người.
Reranking Hoạt Động Thế Nào?
Quy trình reranking gồm 4 bước, mình giải thích đơn giản:
Bước 1 — Retrieval: Hệ thống dùng BM25 hoặc vector search để lấy top 50-100 tài liệu liên quan nhất từ database. Bước này tính bằng mili-giây.
Bước 2 — Ghép cặp: Mỗi tài liệu hậu bổ được ghép với câu truy vấn thành một cặp (query, document). Ví dụ: query là “cách nấu phở”, tài liệu là một đoạn văn về công thức nấu ăn.
Bước 3 — Chấm điểm: Cross-encoder đọc từng cặp, xuất ra điểm relevance từ 0 đến 1. Tài liệu nào thật sự trả lời được câu hỏi sẽ được điểm cao.
Bước 4 — Sắp xếp lại: Hệ thống sắp xếp tài liệu theo điểm mới, chỉ giữ lại top 5-10 kết quả tốt nhất để đưa cho LLM tạo câu trả lời.
Cross-Encoder Khác Bi-Encoder Ở Điểm Nào?
Đây là phần kỹ thuật quan trọng nhất nếu bạn muốn hiểu reranking.
Bi-encoder mã hóa query và tài liệu thành hai vector độc lập, rồi tính độ tương đồng. Nhanh, nhưng độ chính xác hạn chế vì hai bên không “biết” về nhau trong quá trình mã hóa. Phù hợp cho bước retrieval khi cần quét hàng triệu tài liệu.
Cross-encoder đưa query và tài liệu vào cùng một transformer, cho phép attention hai chiều giữa hai bên. Chính xác hơn nhiều, nhưng không thể pre-compute — mỗi cặp phải chạy qua model riêng. Phù hợp cho bước reranking khi chỉ cần xử lý 50-100 tài liệu.
Kết hợp cả hai là lý tưởng: bi-encoder cho tốc độ, cross-encoder cho độ chính xác. Đây là lý do người ta gọi là two-stage retrieval.
Các Mô Hình Reranking Phổ Biến
Nếu bạn muốn thêm reranking vào hệ thống của mình, đây là những lựa chọn đáng dùng nhất hiện nay:
Cohere Rerank: API thương mại, dễ tích hợp, chất lượng tốt. Bạn gửi query và danh sách tài liệu, Cohere trả về thứ tự đã xếp lại. Phù hợp khi không muốn tự host model.
bge-reranker: Mô hình open-source của BAAI, chạy local, hiệu năng cạnh tranh với các giải pháp trả phí. Có nhiều kích cỡ từ light đến large tùy nhu cầu.
Jina Reranker: Của Jina AI, hỗ trợ đa ngôn ngữ bao gồm tiếng Việt. Tích hợp qua API hoặc self-host.
Voyage Rerank: Của Voyage AI, tối ưu cho RAG pipeline, đánh giá tốt trên nhiều benchmark.
Reranking Trong RAG: Tại Sao Bắt Buộc Phải Có?
Khi bạn xây dựng hệ thống RAG, mục tiêu là đưa cho LLM đúng thông tin để tạo câu trả lời đúng. Nếu bước retrieval trả về 10 đoạn mà chỉ 3 đoạn thực sự liên quan, LLM vẫn phải đọc hết 10 đoạn — và có thể bị nhiễu, tạo ra câu trả lời sai.
Reranking giải quyết vấn đề này bằng cách lọc và xếp lại 10 đoạn đó, đưa 3 đoạn tốt nhất lên đầu. LLM nhận context sạch hơn, câu trả lời chính xác hơn.
Nghiên cứu của Cohere cho thấy thêm reranking vào RAG pipeline có thể cải thiện chất lượng câu trả lời lên 20-30% trong nhiều trường hợp. Con số này không nhỏ, đặc biệt khi bạn xử lý các câu hỏi phức tạp cần thông tin từ nhiều nguồn.
Mình đã test thực tế: một hệ thống RAG dùng cho customer support, khi thêm bge-reranker, giảm từ 15% câu trả lời sai xuống còn 4%. Đó là khác biệt giữa khách hài lòng và khách phàn nàn.
Reranking Tốn Bao Nhiêu Thời Gian?
Đây là mối quan tâm lớn nhất. Reranking chậm hơn retrieval là chắc chắn, nhưng không chậm như nhiều người tưởng.
Với top 50 tài liệu, một cross-encoder như bge-reranker-base chạy trên GPU thông thường mất khoảng 100-200ms. Trên CPU thì khoảng 1-2 giây. Với API như Cohere Rerank, latency khoảng 200-500ms.
So với việc LLM sinh câu trả lời mất 2-5 giây, thì thêm 200ms cho reranking là chi phí hoàn toàn xứng đáng. Đặc biệt khi chất lượng câu trả lời cải thiện rõ rệt.
Khi Nào Không Cần Reranking?
Không phải trường hợp nào cũng cần reranking. Mình xác định vài trường hợp bỏ qua được:
Khi database nhỏ — dưới 1.000 tài liệu, vector search với embedding tốt thường đã đủ. Reranking mang lại cải thiện không đáng kể.
Khi query đơn giản — nếu người dùng chỉ tìm theo tên sản phẩm, mã đơn hàng, thì BM25 hoặc keyword search đã chính xác. Reranking không thêm giá trị.
Khi latency là ưu tiên tuyệt đối — nếu bạn cần phản hồi dưới 100ms, bỏ reranking là cách đơn giản nhất. Đổi lại chấp nhận chất lượng thấp hơn một chút.
Kết Luận
Reranking là bước nhỏ nhưng tạo khác biệt lớn trong hệ thống tìm kiếm và RAG. Bản chất rất đơn giản: tìm nhanh rồi tìm kỹ. Bước một loạn nhưng nhiều, bước hai chậm nhưng chuẩn.
Nếu bạn đang xây dựng chatbot, hệ thống Q&A hay công cụ tìm kiếm nội bộ, hãy thử thêm reranking vào pipeline. Chi phí thấp, cải thiện đáng kể. Đó là một trong những việc có ROI cao nhất trong cả quy trình xây dựng hệ thống AI.
