TF-IDF (Term Frequency – Inverse Document Frequency) là một kỹ thuật thống kê giúp đo lường mức độ quan trọng của một từ trong một văn bản, so với toàn bộ tập văn bản. Nó kết hợp hai yếu tố: tần suất xuất hiện của từ trong văn bản (TF) và độ hiếm của từ đó across toàn bộ corpus (IDF). Từ nào xuất hiện nhiều trong một văn bản nhưng hiếm khi xuất hiện ở các văn bản khác sẽ có điểm TF-IDF cao.
TF-IDF Là Gì?
TF-IDF là viết tắt của Term Frequency – Inverse Document Frequency, tạm dịch là Tần suất thuật ngữ – Tần suất tài liệu nghịch. Đây là một phương pháp toán học được phát triển từ những năm 1970, ban đầu dùng cho hệ thống truy xuất thông tin.
Ý tưởng cốt lõi rất đơn giản: một từ quan trọng nếu nó xuất hiện nhiều lần trong một văn bản, nhưng đồng thời phải là từ phân biệt được văn bản này với những văn bản khác. Từ “và”, “là”, “của” xuất hiện ở khắp nơi nên không mang nhiều ý nghĩa phân biệt. Trong khi đó, “blockchain” hay “transformer” chỉ xuất hiện trong một số văn bản cụ thể, nên chúng có giá trị cao hơn.
Cách Tính TF-IDF Hoạt Động Ra Sao?
TF-IDF là tích của hai thành phần:
1. Term Frequency (TF): Tần suất xuất hiện của một từ trong văn bản. Công thức đơn giản nhất là số lần từ xuất hiện chia cho tổng số từ trong văn bản. Nếu từ “AI” xuất hiện 10 lần trong một bài 100 từ, TF = 10/100 = 0.1.
2. Inverse Document Frequency (IDF): Đo độ hiếm của từ across toàn bộ tập văn bản. Công thức phổ biến nhất là log(Tổng số văn bản / Số văn bản chứa từ đó). Nếu toàn bộ corpus có 1.000 văn bản và từ “AI” chỉ xuất hiện trong 50 văn bản, IDF = log(1000/50) ≈ 2.99.
TF-IDF = TF × IDF
Quay lại ví dụ trên: TF-IDF của từ “AI” = 0.1 × 2.99 = 0.299. Con số này cao hơn nhiều so với từ “và” vốn xuất hiện ở hầu hết văn bản và sẽ có IDF gần bằng 0.
Ví Dụ Thực Tế Về TF-IDF
Giả sử mình có 100 bài viết trên blog. Trong đó, 99 bài đều dùng từ “website”. Rõ ràng “website” không giúp phân biệt bài nào với bài nào. IDF của “website” sẽ rất thấp.
Nhưng từ “BERT” chỉ xuất hiện trong 3 bài. Khi ai đó tìm “BERT là gì”, hệ thống biết ngay ba bài này mới là kết quả liên quan, vì “BERT” có IDF rất cao. Kết hợp với việc từ này xuất hiện nhiều trong bài (TF cao), điểm TF-IDF sẽ đẩy bài đó lên top kết quả tìm kiếm.
Đây chính là cách các công cụ tìm kiếm đời đầu xếp hạng kết quả trước khi Google ra đời với PageRank.
TF-IDF Liên Quan Đến SEO Như Thế Nào?
Nhiều người làm SEO vẫn nghĩ TF-IDF là yếu tố xếp hạng trực tiếp của Google. Thực tế thì Google đã tiến xa hơn nhiều so với TF-IDF đơn thuần. Họ dùng các mô hình ngôn ngữ phức tạp như BERT và các hệ thống dựa trên AI để hiểu ngữ nghĩa.
Tuy nhiên, TF-IDF vẫn có giá trị trong SEO ở các khía cạnh:
Phân tích nội dung: Công cụ như Surfer SEO, Clearscope sử dụng biến thể của TF-IDF để đề xuất các thuật ngữ liên quan nên xuất hiện trong bài viết. So sánh TF-IDF của bài mình với đối thủ cạnh tranh trên SERP cho biết mình đang thiếu hay dư những từ khóa nào.
Tối ưu cấu trúc nội dung: Biết được những thuật ngữ quan trọng trong chủ đề giúp xây dựng cấu trúc bài viết tự nhiên hơn, thay vì nhồi nhét từ khóa máy móc.
Phát hiện cannibalization: Nếu hai bài trên cùng site có phân bổ TF-IDF quá giống nhau, chúng có thể cạnh tranh lẫn nhau trên kết quả tìm kiếm.
TF-IDF Trong Machine Learning Và NLP
Trong xử lý ngôn ngữ tự nhiên (NLP), TF-IDF là một trong những phương pháp trích xuất đặc trưng (feature extraction) kinh điển nhất. Trước kỷ nguyên deep learning, hầu hết các hệ thống phân loại văn bản, phát hiện spam, phân tích cảm xúc đều dùng TF-IDF làm bước tiền xử lý.
Quy trình thường là: chuyển văn bản thành ma trận TF-IDF, sau đó đưa vào các mô hình như Naive Bayes, SVM, hoặc Logistic Regression để phân loại. Mặc dù đơn giản, phương pháp này đạt hiệu suất khá tốt trên nhiều bài toán.
Ngày nay, với sự phổ biến của embedding và transformer, TF-IDF ít được dùng làm mô hình chính. Nhưng nó vẫn xuất hiện trong các pipeline xử lý văn bản, đặc biệt khi cần giải pháp nhanh, nhẹ, dễ hiểu.
Ưu Điểm Và Hạn Chế Của TF-IDF
Ưu điểm:
Đơn giản, dễ hiểu, dễ triển khai. Chạy nhanh, không cần GPU. Kết quả dễ giải thích được, không phải hộp đen như neural network. Phù hợp với các bài toán cơ bản và tập dữ liệu nhỏ.
Hạn chế:
Không hiểu ngữ nghĩa. “Máy tính” và “computer” là hai từ hoàn toàn khác nhau với TF-IDF, dù cùng nghĩa. Thứ tự từ bị bỏ qua, mất thông lượng ngữ pháp. Không xử lý được đa nghĩa. “Bank” trong “ngân hàng” và “bờ sông” được tính giống hệt nhau.
Những hạn chế này chính là lý do các phương pháp hiện đại như word embedding, attention mechanism lên ngôi. Nhưng hiểu TF-IDF vẫn là nền tảng quan trọng để nắm bắt các khái niệm phức tạp hơn.
Các Biến Thể Phổ Biến Của TF-IDF
TF-IDF không chỉ là một công thức duy nhất. Có nhiều biến thể được phát triển qua năm tháng:
BM25: Đây là phiên bản nâng cấp của TF-IDF, được sử dụng rộng rãi trong Elasticsearch và nhiều hệ thống search hiện đại. BM25 thêm tham số điều chỉnh để giảm tác dụng của các từ lặp quá nhiều lần. Sẽ có một bài riêng về BM25 trong series này.
Sublinear TF Scaling: Thay vì dùng TF trực tiếp, dùng log(1 + TF). Điều này giúp giảm ảnh hưởng của các từ bị lặp lại quá nhiều trong một văn bản.
TF-ICF: Biến thể dùng cho phân loại, thay vì IDF thì dùng ICF (Inverse Category Frequency) để đo độ quan trọng của từ trong việc phân biệt giữa các danh mục.
Nên Dùng TF-IDF Khi Nào?
Dựa trên kinh nghiệm thực tế, mình khuyên nên dùng TF-IDF trong các trường hợp sau:
Cần xây dựng hệ thống search hoặc phân loại văn bản nhanh, không yêu cầu độ chính xác cực cao. Làm baseline để so sánh với các mô hình phức tạp hơn. Phân tích SEO nội dung, tìm hiểu khoảng trống từ khóa so với đối thủ. Dự án có dữ liệu nhỏ, không đủ để train deep learning model.
Nếu dự án cần hiểu ngữ nghĩa sâu, xử lý đa ngôn ngữ, hoặc làm việc với văn bản dài, hãy cân nhắc các phương pháp hiện đại hơn như sentence embedding hoặc transformer.
Kết Luận
TF-IDF là một trong những thuật ngữ nền tảng nhất trong xử lý ngôn ngữ tự nhiên và truy xuất thông tin. Dù đã hơn nửa thế kỷ tuổi, nó vẫn được sử dụng rộng rãi và là stepping stone để hiểu các khái niệm tiên tiến hơn. Nếu mình làm SEO hoặc NLP, nắm vững TF-IDF là điều bắt buộc.
Ở bài tiếp theo, mình sẽ nói về BM25, phiên bản nâng cấp của TF-IDF đang được dùng trong hầu hết các hệ thống search hiện đại.
