Cloudflare vừa công bố thay đổi lớn nhất kể từ khi ra mắt tính năng “Block AI bots” năm ngoái. Thay vì một công tắc bật/tắt duy nhất, Cloudflare giờ phân loại bot AI thành 3 nhóm riêng biệt: Search, Agent, Training. Quy định mới áp dụng từ 15/9/2026, và nếu bạn đang chặn Training thì Googlebot cũng có thể bị chặn luôn.
Đây là cú sốc thực sự cho cộng đồng SEO. Tôi đã theo dõi story này từ sáng nay khi Cloudflare đăng blog chính thức, và sau khi đọc hết report + phân tích từ Search Engine Journal, tôi nhận ra nhiều site Việt Nam sẽ bị ảnh hưởng nghiêm trọng nếu không hành động trước tháng 9.
Cloudflare phân loại AI crawler thành 3 nhóm nào?
Cloudflare chia toàn bộ bot AI trên mạng của họ thành 3 nhóm dựa trên hành vi thực tế, không phải dựa trên việc bot đó có phải “AI” hay không:
Search: Bot thu thập và lập chỉ mục nội dung để trả lời câu hỏi sau này. Cloudflare gắn hành vi này với referral traffic — site nhận được visitor quay lại từ kết quả tìm kiếm. Ví dụ: Googlebot khi crawl để hiển thị trong Google Search.
Agent: Bot hoạt động theo thời gian thực, thay mặt con người hoàn thành một tác vụ cụ thể. Ví dụ: ChatGPT-User khi ai đó hỏi ChatGPT và bot tải trang để đọc nội dung, hoặc Gemini/Claude khi điều khiển Chrome để thực hiện tác vụ. Đặc điểm: luôn có người dùng đang chờ kết quả ở đầu bên kia.
Training: Bot thu thập nội dung để huấn luyện hoặc tinh chỉnh mô hình AI. Dữ liệu của bạn bị hấp thụ vĩnh viễn vào kiến trúc của AI. Ví dụ: GPTBot, ClaudeBot, PerplexityBot khi crawl cho mục đích training.
Cloudflare lập luận rằng các công ty vận hành bot nên tách crawler thành 3 bot riêng biệt cho 3 mục đích. Điều này tạo ra sự minh bạch: site chủ biết chính xác bot đến trang mình để làm gì, từ đó quyết định cho phép hay chặn.
Tại sao Googlebot có thể bị chặn vô tình?
Đây là phần quan trọng nhất mà mọi SEOer cần hiểu. Cloudflare phát hiện ra rằng nhiều bot lớn đang dùng cùng một crawler cho nhiều mục đích. Cụ thể: Googlebot crawl cho cả Google Search (nhóm Search) lẫn Google AI training (nhóm Training). Tương tự, Bingbot phục vụ cả Bing Search và Microsoft AI. Applebot cũng vậy.
Từ ngày 15/9/2026, Cloudflare sẽ áp dụng quy tắc: bot đa mục đích bị chi phối bởi quy tắc nghiêm ngặt nhất. Nghĩa là nếu site bạn chặn Training, thì Googlebot — dù cũng crawl cho Search — sẽ bị chặn luôn. Vì Cloudflare block ở network level, không phải robots.txt advisory mà Google có thể bỏ qua.
Điều này đặc biệt nguy hiểm cho các site đã bật tính năng “Block AI bots” cũ của Cloudflare. Nếu bạn thuộc nhóm này, đến 15/9 mà không thay đổi setting, Googlebot sẽ bị block. Kết quả: Google không crawl được site bạn, index chậm lại, và traffic search giảm dần.
Theo tracking của Search Engine Journal trong năm qua, nhiều publisher lớn đã chuyển sang mặc định chặn AI crawlers. Rủi ro là mỗi lần chặn training, họ vô tình chặn luôn search layer giữ cho site được findable.
Default mới từ 15/9/2026 thay đổi điều gì?
Cloudflare thiết lập default mới cho toàn bộ khách hàng, kể cả gói Free:
Trên trang có quảng cáo: Training và Agent bị chặn mặc định. Search được phép. Logic của Cloudflare: ad signal cho biết trang đó dành cho người thật xem, nên bot Training/Agent không nên can thiệp.
Khách hàng Free hiện tại: Nếu không thay đổi setting trước 15/9, sẽ tự động chuyển sang default mới. Cloudflare sẽ gửi notification liên tục cho đến ngày này.
Multii-purpose crawler rule: Bot vừa Search vừa Training sẽ bị đối xử theo quy tắc nghiêm ngặt nhất. Nếu Training bị block, bot đó bị block hoàn toàn.
Cách duy nhất để giữ Googlebot chạy bình thường: vào Cloudflare dashboard, phần Security settings, review lại cấu hình AI traffic trước 15/9. Nếu site bạn phụ thuộc traffic Google, bạn phải chọn “no changes” cho Training crawlers mà cũng crawl cho Search.
Content Signals trong robots.txt hoạt động thế nào?
Ngoài 3 nhóm bot, Cloudflare đang thử nghiệm một tín hiệu nội dung mới mở rộng Content Signals trong robots.txt. Tín hiệu use có 3 giá trị từ nghiêm ngặt đến thoải mái:
use=immediate: Bot tương tác nhưng không lưu trữ hay sử dụng lại gì. Thích hợp cho trang checkout, dashboard.
use=reference (default): Bot có thể index, trích dẫn, và link lại. Mức này phù hợp cho hầu hết nội dung blog.
use=full: Bot có thể tóm tắt và tái sản xuất nội dung. Mức mở rộng nhất, phù hợp nếu bạn muốn AI cite trang bạn đầy đủ.
Đây là tín hiệu tuyên bố preference, không tự động block. Cloudflare kết hợp tín hiệu này với bot classification để tạo rule chi tiết hơn, ví dụ: “cho phép tất cả bot Search + SEO + Ads Verification, nhưng chỉ ở mức reference”.
Dữ liệu bot traffic 1 năm của Cloudflare cho thấy điều gì?
Cloudflare công bố báo cáo nhân kỷ niệm 1 năm Content Independence Day. Các con số đáng chú ý:
AI Training hiện chiếm đa số crawler requests trên toàn mạng Cloudflare, tăng từ khoảng 20% vào mùa xuân 2025. Nghĩa là phần lớn bandwidth dành cho bot không còn là Googlebot crawl cho search, mà là AI training.
Daily AI Agent requests tăng 1.700% so với cùng kỳ năm ngoái. Agent traffic đang bùng nổ vì ngày càng nhiều người dùng ChatGPT, Perplexity, Gemini để tìm kiếm thay vì Google.
Con số này dựa trên traffic thực tế qua mạng Cloudflare (330+ city), không đại diện cho toàn bộ web nhưng là sample đủ lớn để thấy xu hướng.
BotBase là công cụ gì cho Enterprise?
Cloudflare ra mắt BotBase — database tra cứu toàn bộ bot đã biết, dành cho khách hàng Enterprise Bot Management. Mỗi bot hiển thị classification đầy đủ (Search/Agent/Training + 8 hành vi phụ khác như Data Collection, Security Testing, SEO, Ads Verification) cùng detection ID dùng được trong Security rules.
Đây là bước đệm. Cloudflare nói rõ sẽ mở rộng BotBase thành control center sau năm nay, cho phép quản lý từng bot cụ thể thay vì chỉ nhóm.
SEOer Việt Nam cần làm gì trước 15/9?
Sau khi phân tích toàn bộ thay đổi, tôi đề xuất 5 bước cho bất kỳ site nào đang dùng Cloudflare:
Bước 1: Kiểm tra setting hiện tại. Đăng nhập Cloudflare dashboard, vào Security > Settings, xem bạn có bật “Block AI bots” không. Nếu có, đây là lúc phải review lại trước 15/9.
Bước 2: Quyết định chiến lược 3 nhóm. Đừng dùng một công tắc cho tất cả. Training: chặn nếu bạn không muốn AI train trên nội dung của mình. Agent: cân nhắc — nếu site bạn muốn ChatGPT/Perplexity cite, cần cho phép. Search: luôn giữ mở, đây là lifeblood traffic.
Bước 3: Giải quyết multi-purpose crawler trap. Nếu bạn cần Googlebot crawl cho SEO nhưng không muốn training, bạn phải chọn “no changes” cho Training crawlers cũng crawl cho Search. Đây là tradeoff Cloudflare đang ép Google tách bot, nhưng trong lúc chờ, bạn không được block Googlebot.
Bước 4: Thêm Content Signals vào robots.txt. Thiết lập use=reference cho toàn site làm default, use=immediate cho trang checkout/dashboard. Signal này không block nhưng truyền đạt preference cho bot tuân thủ.
Bước 5: Theo dõi GSC và Cloudflare Analytics. Sau 15/9, kiểm tra Google Search Console xem crawl rate có giảm không. Đồng thời xem Cloudflare Analytics phần Bot Management để biết bot nào đang bị block. Nếu Googlebot giảm đột ngột, quay lại setting ngay.
Đánh giá của tôi
Tôi đánh giá thay đổi này 8,5/10. Đây là đòn đánh đúng lúc đúng chỗ của Cloudflare. Vấn đề multi-purpose crawler là real: Google, Microsoft, Apple đều dùng cùng một bot cho search lẫn training, và site chủ không có cách nào phân biệt. Cloudflare dùng quyền network-level để ép các ông lớn tách bot, đó là dùng market power cho điều đúng.
Trừ điểm vì: default change áp dụng cho Free user mà nhiều người sẽ không đọc email notification. Tôi dự đoán sẽ có một đợt site mất traffic Google hàng loạt vào giữa tháng 9 vì vô tình block Googlebot. Cloudflare nên grace period lâu hơn hoặc default an toàn hơn cho Free tier.
Nếu bạn làm SEO cho site dùng Cloudflare, đây là task ưu tiên cao nhất trong tháng 7 và tháng 8. Đừng để đến tuần cuối của tháng 9 mới xử lý.
Tham khảo thêm về cách chặn bot AI gây quá tải server WordPress và Cloudflare Monetization Gateway bán nội dung cho AI agent. Để hiểu hơn về cách AI cite nguồn, đọc bài về tại sao Top 10 Google không còn đảm bảo AI citation và báo cáo Gen AI trong Google Search Console.
