Kinsta vừa công bố báo cáo phân tích hơn 10 tỷ request trên hạ tầng WordPress, và con số khiến tôi ngồi thẳng dậy: 1 trong 31 lượt truy cập website giờ là AI bot. Không phải bot tìm kiếm thông thường, mà là crawler đang ăn mòn tài nguyên server của bạn mà gần như không mang lại traffic nào.
Số liệu từ TollBit State of the Bots Q4 2025 cho thấy AI bot traffic tăng 300% chỉ trong một năm. Theo Akamai Digital Fraud & Abuse Report 2025, đây là mức tăng nhanh nhất từ trước đến nay. Và 80% hoạt động crawl này dành riêng cho model training, không phải search hay user query.
Sau khi đọc hết báo cáo Kinsta và đối chiếu với dữ liệu thực tế trên vài chục site tôi đang quản lý, tôi nhận ra: vấn đề không còn là “AI có scrape nội dung của mình không” nữa. Vấn đề lớn hơn nhiều — bot đang tiêu thụ tài nguyên server, bóp nghẹt performance, và bạn đang trả tiền cho điều đó.
AI Bot Traffic Đang Xảy Ra Cụ Thể Thế Nào Trên Website Của Bạn?
Theo dữ liệu Cloudflare Radar 2025 Year in Review, AI crawler chiếm 4,2% tổng HTML request trên mạng Cloudflare. Nếu cộng cả Googlebot, con số này lên tới 8,5%. GPTBot riêng đã tăng 305% trong khoảng từ tháng 5/2024 đến tháng 5/2025.
Nhưng phần trăm này chỉ là trung bình năm. Thực tế nó dao động từ 2,4% đầu tháng 4 lên 6,4% cuối tháng 6 — gần gấp ba lần trong cùng một năm. Nghĩa là vào những ngày cao điểm, bot traffic có thể chiếm tỷ trọng lớn hơn nhiều so với mức bạn nghĩ.
Điều đáng lo ngại nhất mà Kinsta phát hiện: bot không chỉ crawl trang tĩnh. Chúng đang kẹt trong các vòng lặp URL trên trang động, đặc biệt là e-commerce.
7,67 Triệu Request Add-To-Cart Trong 24 Giờ — Ai Gây Ra?
Đây là con số khiến tôi khó tin nhất trong toàn bộ báo cáo. Kinsta ghi nhận 7,67 triệu request đánh vào các URL chứa tham số ?add-to-cart= trong vòng 24 giờ. Phân tích theo bot:
- Googlebot: 48,9% (khoảng 3,75 triệu request)
- Bot thứ hai: 24%
- Bot thứ ba: 12,8%
- Bot thứ tư: 9,3%
- Bot thứ năm: 5,1%
3,75 triệu request trong 24 giờ tương đương một request mỗi 23 mili-giây, liên tục ngày và đêm. Mỗi request được server xử lý như một truy vấn mới, không thể cache.
Lý do: bot thấy các URL có tham số khác nhau (bộ lọc sản phẩm, số lượng trong giỏ hàng, sắp xếp trang) và coi mỗi biến thể là một trang mới. Meta’s meta-externalagent crawler bị Kinsta ghi nhận đang theo dõi các biến thể query string trong nhiều ngày liền trước khi hệ thống phát hiện và chặn.
David Belson, cựu Head of Data Insights tại Cloudflare, mô tả thẳng thắn trong báo cáo: có những người “hôm qua còn không biết gì, hôm nay vibe code một bot rồi thả ra — họ thậm chí không buồn kiểm tra robots.txt”.
Tại Sao Server Của Bạn Đang Chịu Tải Vì Bot?
Trên trang tĩnh, request có thể serve từ cache, chi phí gần như bằng không. Nhưng khi bot đánh vào các endpoint động như add-to-cart, filtered product pages, internal search, AJAX interactions — mỗi request kích hoạt:
- PHP execution: Mỗi request chiếm một PHP worker trong toàn bộ thời gian xử lý. Dưới tải bot liên tục, worker cạn kiệt và người dùng thật phải chờ.
- Database queries: Trang động query database trên mỗi lần load. Không có cache layer nào hấp thụ được ở quy mô này.
- Session handling: Cart và checkout page tạo hoặc validate session, thêm overhead ngay cả khi bot không bao giờ convert.
Google từng gọi đây là “crawl inefficiency” trong tài liệu về faceted navigation. Nhưng khi một bot duy nhất gửi 3,75 triệu request add-to-cart trong một ngày, đó không còn là inefficiency nữa. Đó là một cuộc tấn công tài nguyên không chủ đích.
Bot Traffic Ảnh Hưởng SEO Như Thế Nào?
Tác động SEO của bot traffic chạy theo ba tầng, và tôi sắp xếp theo mức độ nghiêm trọng:
Tầng 1 — Crawl budget cạn kiệt: Khi Googlebot tiêu tụ 3,75 triệu request vào add-to-cart URL, nó không còn budget để crawl các trang quan trọng. Trang mới publish chậm index, trang cũ chậm cập nhật. Trên các site e-commerce lớn, điều này trực tiếp làm giảm organic traffic.
Tầng 2 — Core Web Vitals suy giảm: PHP worker cạn kiệt意味 trang tải chậm hơn cho người dùng thật. LCP tăng, INP tăng, CLS có thể thay đổi. Trong tháng 3/2026 Core Update, tôi thấy nhiều site bị phạt không phải vì nội dung mà vì server response time vượt ngưỡng khi bot traffic tăng đột biến.
Tầng 3 — Analytics bị nhiễu: AI bot traffic tăng 300% nghĩa là một phần lớn “traffic” trong Google Analytics có thể không phải con người. Site có vẻ traffic tăng nhưng conversion không đổi, engagement metrics giảm. Ra quyết định dựa trên dữ liệu nhiễu này dẫn đến chiến lược sai.
SEOer Nên Block Hay Cho Phép AI Bot?
Câu trả lời ngắn: không phải block tất cả, cũng không phải mở hết. Câu hỏi đúng hơn là “bot nào, trên phần nào của site, trong điều kiện gì”.
Kinsta đưa ra ba trad-off mà tôi hoàn toàn đồng ý:
Khả năng phát hiện vs hiệu năng server: Search crawler cần thiết để người dùng tìm thấy site, nhưng chúng không luôn hoạt động hiệu quả. Block quá agresive làm giảm visibility, nhưng cho phép unrestricted access tạo tải không cần thiết.
Quyền tiếp cận vs chi phí tài nguyên: Một số bot cung cấp giá trị gián tiếp — AI cite nội dung, tool index trang — nhưng mỗi request đều có giá CPU, database, memory, bandwidth. Khi activity tăng, chi phí tích lũy không còn nhỏ.
Kiểm soát vs đơn giản: Tự động hóa xử lý bot traffic tốt cho đa số trường hợp, nhưng mỗi site có pattern traffic khác nhau. Dựa hoàn toàn vào tự động đồng nghĩa không định hình được quyết định cho site cụ thể của bạn.
5 Bước Quản Lý AI Bot Traffic Cho SEOer Ngay Trong Tháng 6 Này
Dựa trên dữ liệu Kinsta, Cloudflare và trải nghiệm thực tế trên các site tôi quản lý, đây là checklist tôi đang áp dụng:
Bước 1 — Đo lường bot traffic thực tế. Đừng chỉ nhìn Google Analytics. Kiểm tra server access log hoặc dùng Cloudflare Analytics để thấy tỷ lệ bot traffic thực. Nếu bot traffic chiếm hơn 15% tổng request, bạn cần hành động.
Bước 2 — Bảo vệ endpoint động. Block hoặc restrict crawler truy cập vào add-to-cart, checkout, internal search, filtered pages, parameter-heavy URLs. Dùng robots.txt, X-Robots-Tag, hoặc rule ở tầng CDN/WAF. Đây là bước tác động lớn nhất đến chi phí server.
Bước 3 — Tách biệt search crawler và AI crawler. Không phải bot nào cũng như nhau. Search crawler (Googlebot, Bingbot) đóng góp trực tiếp vào discoverability, cần access rộng. AI training crawler (GPTBot, meta-externalagent, ClaudeBot) cung cấp giá trị gián tiếp. Chính sách một-size-fits-all không còn phù hợp. Nếu bạn chưa đọc bài phân tích Applebot cập nhật cho Siri AI, tôi khuyên nên đọc để hiểu mô hình ba tầng kiểm soát.
Bước 4 — Sửa faceted navigation. Đây là nguyên nhân gốc rễ của bot loop. Thêm nofollow cho filter links, chuẩn hóa canonical, dùng parameter handling trong Google Search Console. Nếu bạn chạy WooCommerce, kiểm tra WooCommerce ordering và pagination có sinh URL dư thừa không.
Bước 5 — Theo dõi AI visibility tách biệt. Đừng lấy traffic làm thước đo duy nhất. AI bot có thể crawl site của bạn cho model training nhưng không bao giờ gửi referral traffic. Đo lường AI citation share, brand mention, và revenue thay vì chỉ nhìn visit count. Theo dữ liệu zero-click search 2026, 68% lượt tìm kiếm Google kết thúc không click — tỷ lệ này sẽ tiếp tục tăng.
Robot.txt Không Đủ — Bạn Cần Chiến Lược Bot Management
Một phát hiện quan trọng từ báo cáo Kinsta: 550 triệu request bị lọc bởi một rule duy nhất trong 30 ngày. Một loop rule. Nghĩa là phần lớn bot traffic không cần giải pháp phức tạp — chỉ cần xác định đúng pattern và chặn ở tầng edge.
Nhưng robots.txt có giới hạn. Nó dựa trên voluntary compliance — bot hợp lệ thì tuân thủ, bot “vibe coded” thì bỏ qua. Cristian Lopez, Managing Editor tại HostingAdvice, nói đúng trong báo cáo: “Giác niệm sai lầm là nghĩ bot traffic là bài toán block-or-allow. Thực tế, nó là câu hỏi về policy, visibility, và economic control”.
Đối với SEOer, điều này có nghĩa: bot management không còn là job của dev team. Nó trực tiếp ảnh hưởng đến crawl budget, Core Web Vitals, và chi phí hosting. Bạn cần ngồi cùng team infrastructure để đưa ra quyết định, không thể đẩy hết cho bên kia.
Kết Luận: Bot Traffic Là Bài Toán SEO Mà Nhiều Người Bỏ Qua
Sau khi phân tích kỹ báo cáo Kinsta, tôi thấy bài học lớn nhất là: nhiều SEOer đang optimize nội dung, backlink, technical SEO nhưng bỏ qua một biến số đang ăn mòn infrastructure mỗi ngày. AI bot traffic tăng 300% không phải trend nhất thời — nó sẽ tiếp tục tăng khi thêm AI agent, MCP tool, và vibe-coded bot xuất hiện.
Site nào nhận ra sớm và có chiến lược bot management rõ ràng sẽ có lợi thế crawl budget, performance, và chi phí. Site nào phớt lờ sẽ tự hỏi tại sao traffic giảm, server chậm, mà không biết bot đang âm thầm tiêu hao tài nguyên.
Đừng tin lời hứa, hãy nhìn vào data. Và data đang nói rất rõ: 1 trong 31 lượt truy cập của bạn không phải con người.
