robots.txt

Robots.txt kiểm soát bot crawl website. Cấu hình cho Googlebot, AI crawlers và crawler management.

6 bài viết

15 Tháng 8, 2026 AI

ChatGPT-User Bỏ Qua Disallow: Số Liệu TollBit H1/2026 Và Cách SEOer Kiểm Soát AI Bot Thực Sự

Tôi vừa xong báo cáo State of the Bots nửa đầu 2026 của TollBit và phải nói thẳng: đây là lần đầu tiên tôi thấy...

11 Tháng 8, 2026 AI

Meta Đang Xây Search Engine Riêng Và SEOer Cần Làm Gì Ngay? Tôi theo dõi tín hiệu này từ đầu tuần và phải nói thẳng:...

3 Tháng 8, 2026 AI

Google vừa xác nhận họ đã gỡ bỏ quy định bắt phải chặn trang kết quả tìm kiếm nội bộ (internal search results pages) khỏi...

27 Tháng 7, 2026 SEO

Tuần qua, John Mueller của Google đã trả lời một câu hỏi trên Reddit khiến nhiều webmaster giật minh. Một website Shopify chặn trang tìm...

6 Tháng 6, 2026 SEO

Crawl Budget là gì mà Google quan tâm đến mức phải có chỉ số riêng? Nếu bạn đang chạy một website nhỏ, có thể thuật...

23 Tháng 5, 2026 AI

robots.txt cho AI crawlers GPTBot ClaudeBot PerplexityBot: llms.txt, config cho ChatGPT và Claude.