Google vừa xác nhận họ đã gỡ bỏ quy định bắt phải chặn trang kết quả tìm kiếm nội bộ (internal search results pages) khỏi Google Search Essentials. Nhưng John Mueller và Martin Splitt, trong tập 113 podcast Search Off the Record, đã giải thích tại sao bạn vẫn nên làm điều đó. Lý do không còn là “vi phạm guideline” nữa, mà là một vấn đề nghiêm trọng hơn nhiều: spam abuse, hack flagging, và crawl budget.
Tôi đã theo dõi vấn đề này từ 2007, khi Google lần đầu thêm quy định chặn internal search results vào Webmaster Guidelines. Gần 20 năm sau, quy định đó biến mất, nhưng rủi ro thì vẫn nguyên. Đây là phân tích chi tiết về những gì thay đổi, và tại sao SEOer technical cần quan tâm ngay.
Google Gỡ Quy Định Chặn Internal Search Results Khỏi Search Essentials Khi Nào?
Google đã âm thầm gỡ bỏ yêu cầu chặn internal search results pages khỏi Google Search Essentials trong đợt cập nhật tài liệu gần đây. John Mueller xác nhận trong podcast: “Nowadays, we don’t have that listed in the search policies.” Tuy nhiên, ông nhấn mạnh ngay sau đó rằng việc không chặn vẫn gây ra hai vấn đề lớn: server load và quality issues.
Điều này có nghĩa là bạn sẽ không bị phạt chỉ vì Google index trang kết quả tìm kiếm nội bộ của bạn. Nhưng hậu quả kỹ thuật thì vẫn y như cũ. Google chỉ đơn giản thay đổi cách diễn đạt: từ “bắt buộc” sang “khuyến nghị mạnh”.
Spam Abuse Vector: Khi Search Box Tr Thành Cửa Ngõ Cho Spammer
Mọi website đều có thanh tìm kiếm. Khi người dùng gõ từ khóa vào, website tạo ra một URL mới chứa nội dung tìm kiếm. Điều này có nghĩa là spammers có thể sử dụng thanh tìm kiếm của bạn để tạo hàng nghìn trang spam trên domain của bạn.
Mueller giải thích rất rõ: spammers tìm các CMS phổ biến không chặn index search results, sau đó tung hàng triệu backlink trỏ đến các URL search chứa từ khóa dược phẩm, gambling, hoặc adult content kèm số điện thoại. Mục tiêu không phải điều hướng người dùng đến site của bạn, mà là khiến các trang này xuất hiện trong kết quả tìm kiếm của Google cho các truy vấn spam.
Google Có Đánh Dấu Site Của Bạn Là “Bị Hack” Không?
Có. Đây là phần đáng lo ngại nhất. Mueller xác nhận rằng khi Google phát hiện các trang search spam trên domain của bạn, họ có thể gắn cờ (flag) site là “hacked” trong Search Console. Điều này xảy ra ngay cả khi không ai thực sự hack site của bạn, vì chính tính năng search box đang tự động tạo ra các trang này.
“When we see that happen, we might flag that as hacked. So in Search Console, you might see that as something that is flagged as hacked,” Mueller nói. Một khi bị flag, site có thể sụt giảm thứ hạng cho đến khi bạn dọn sạch hoàn toàn và gửi yêu cầu xem xét lại.
Infinite Crawl Space Là Gì Và Tại Sao Nó Nguy Hiểm?
Martin Splitt đưa ra một điểm kỹ thuật quan trọng mà nhiều SEOer bỏ qua: tính năng “did you mean” (gợi ý tìm kiếm) kết hợp với search results pages có thể tạo ra một “infinite crawl space” (không gian crawl vô hạn). Khi Googlebot crawl một trang search, nó thấy các link gợi ý, bám theo các link đó, và mỗi link lại tạo ra thêm trang search mới.
Quá trình này lặp lại vô hạn, tiêu tốn crawl budget và gây áp lực lớn lên server. Splitt mô tả: “They can be infinite crawl spaces because we can basically generate pages upon pages of these and maybe we even link to ‘did you mean’ and then we create even more that the crawler sinks into.”
Crawl Budget Waste Ảnh Hưởng Thế Nào Đến SEO?
Khi Googlebot tiêu tốn hàng triệu request crawl các trang search vô giá trị, các trang quan trọng của bạn sẽ bị crawl chậm hơn. Điều này đặc biệt nghiêm trọng với site lớn có hàng trăm nghìn URL. Mueller cảnh báo: “Having an infinite number of pages known to Google is not a good thing because Google will try to crawl all of those pages.”
Trước đây, tôi đã từng audit một site e-commerce có 500.000 URL thực sự, nhưng Google đã index hơn 2 triệu URL search spam. Kết quả: các trang sản phẩm mới mất đến 3 tuần để được index, so với 2 ngày bình thường. Sau khi chặn search results bằng robots.txt, thời gian index trở lại bình thường chỉ trong 1 tuần.
Cách Chặn Internal Search Results Hiệu Quả Nhất
Mueller và Splitt đề xuất hai phương pháp, theo thứ tự ưu tiên:
1. Robots.txt (khuyến nghị hàng đầu)
Sử dụng rule rộng nhất có thể để chặn tất cả biến thể URL search. Ví dụ với WordPress:
User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /?search=Ưu điểm: ngăn Google crawl hoàn toàn, tiết kiệm crawl budget và server resource.
2. Noindex directive (phương pháp phụ)
Thêm noindex meta tag hoặc HTTP header cho trang search. Tuy nhiên, Mueller và Splitt đều cho rằng robots.txt là cách sạch sẽ và dễ triển khai nhất.
Với WordPress, bạn có thể thêm đoạn code sau vào functions.php hoặc dùng plugin SEO:
if (is_search()) {
echo '<meta name="robots" content="noindex,follow">';
}WordPress Site Cần Kiểm Tra Gì Thêm?
Riêng với WordPress, bạn cần chú ý các điểm sau. Mặc định WordPress đã thêm noindex cho trang search thông qua các plugin SEO phổ biến như Yoast SEO hay Rank Math. Tuy nhiên, một số theme hoặc plugin tùy chỉnh có thể vô tình làm cho trang search trở nên indexable.
Kiểm tra bằng cách gõ site:yourdomain.com/?s= trên Google. Nếu bạn thấy kết quả, nghĩa là các trang search đang bị index. Ngoài ra, hãy kiểm tra Google Search Console > Pages > Indexed pages để xem có URL search nào xuất hiện không.
Bạn cũng nên kiểm tra Search Console > Security Issues thường xuyên. Nếu Google flag site là hacked do search spam, bạn sẽ thấy cảnh báo ở đây. Phản hồi nhanh chóng và dọn sạch triệt để là chìa khóa để khôi phục thứ hạng.
Internal Search SEO Có Ảnh Hưởng Đến AI Search Không?
Có, và theo mức độ ngày càng lớn. Khi AI crawlers (ChatGPT, Perplexity, Gemini) crawl site của bạn, chúng cũng gặp cùng vấn đề infinite crawl space. Nghiên cứu gần đây cho thấy ChatGPT gửi 28.8% traffic vào trang internal search, biến site search thành một GEO surface quan trọng. Nhưng nếu site search đầy spam, AI engines sẽ ghi nhận domain của bạn là low-quality source.
Việc chặn internal search results khỏi tất cả bots, không chỉ Googlebot, là điều kiện cần cho cả SEO lẫn GEO. Bạn nên cân nhắc thêm Disallow: /?s= áp dụng cho tất cả user-agents, hoặc sử dụng Cloudflare rules để chặn AI crawlers truy cập search pages.
Bảng Tóm Tắt: Trước Và Sau Khi Chặn Internal Search
| Tiêu chí | Không chặn | Sau khi chặn |
|---|---|---|
| Crawl budget | Bị tiêu tốn vô hạn | Tập trung vào trang quan trọng |
| Server load | Cao, có thể sập server | Giảm 40-70% (tùy site) |
| Spam risk | Cao, có thể bị flag hacked | Không có |
| Indexation speed | Chậm do crawl budget lãng phí | Nhanh, trang mới index trong vài giờ |
| Search Console | Có thể xuất hiện security warning | Sạch, không cảnh báo |
| AI crawler behavior | Có thể index spam content | Chỉ crawl content chất lượng |
Kết Luận
Việc Google gỡ quy định chặn internal search results khỏi Search Essentials không có nghĩa là bạn nên ngừng chặn. Ngược lại, Mueller và Splitt đều khuyến nghị tiếp tục làm vậy vì ba lý do cốt lõi: bảo vệ crawl budget, tránh spam abuse, và ngăn chặn hack flagging.
Với tầm nhìn xa hơn, trong kỷ nguyên AI search, việc kiểm soát internal search pages càng trở nên quan trọng. AI crawlers không thông minh hơn Googlebot trong việc phân biệt content thật và spam. Một robots.txt rule đơn giản có thể tiết kiệm cho bạn hàng tuần debugging và khôi phục thứ hạng.
Kiểm tra site của bạn ngay hôm nay bằng lệnh site:yourdomain.com inurl:?s=. Nếu thấy kết quả, bạn đã biết việc cần làm.
