Hôm qua, tôi đọc một nghiên cứu khiến tôi phải mở Google Search Console ngay lập tức để kiểm tra lại website mình đang làm. Slobodan Manić, cựu CTO của Search Engine Journal, đã đo lường 274 trang fintech top thế giới và phát hiện: 36% trong số đó gần như vô hình trước mắt AI crawler. 47 trang trả về HTML rỗng — không một chữ nội dung nào trong raw HTTP response.
Đây không phải bài viết cảnh báo suông. Tôi sẽ bóc tách từng con số, giải thích tại sao chuyện này xảy ra, và chỉ ra cách kiểm tra website Việt Nam của bạn có đang mắc lỗi tương tự hay không.
AI Crawler Thực Sự Nhìn Thấy Gì Khi Vào Website Của Bạn?
Đa số AI crawler — bao gồm GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot — không thực thi JavaScript. Chúng gửi một HTTP request, nhận raw HTML, rồi đi tiếp. Nếu nội dung trang web phụ thuộc vào JavaScript để render, AI crawler chỉ thấy cái vỏ HTML rỗng.
Điều này khác hoàn toàn với Googlebot. Google có hạ tầng rendering riêng, dù cũng chậm và không phải lúc nào cũng trigger. Nhưng các AI crawler khác thì không có đặc quyền đó. Chi phí để chạy Chromium cho từng trang là quá đắt — median time-to-idle ratio trong nghiên cứu này là 19.7 lần so với raw fetch.
Nghiên Cứu 274 Trang Fintech Nói Gì Về Tình Trạng AI Visibility?
Ngày 25/5/2026, Manić đo lường 274 trang chủ từ danh sách CNBC World’s Top Fintech Companies 2025. Phương pháp đơn giản: hai lần đo trên cùng trang — raw HTTP fetch (không JS) và full browser render (Playwright + Chromium). Khoảng cách giữa hai lần đo chính là khoảng cách AI crawler phải tự lấp đầy.
Kết quả phân cấp visibility như sau:
| Mức độ hiển thị | Số trang | Tỷ lệ | Mô tả |
|---|---|---|---|
| Đầy đủ (80%+) | 175 | 64% | AI crawler thấy hầu hết nội dung |
| Trung bình (60-79%) | 24 | 9% | Thiếu nội dung quan trọng |
| Thấp (30-59%) | 20 | 7% | Chỉ thấy navigation, thiếu body |
| Gần như zero (dưới 30%) | 55 | 20% | HTML shell, không có content |
Trong 55 trang “gần zero”, có 47 trang trả về đúng 0% nội dung. Không một từ. HTML response chỉ chứa layout scaffolding, inline scripts, và không có readable content nào. Trang chủ của các sàn giao dịch lớn, neobank nổi tiếng, nền tảng lending — tất cả vô hình trước AI.
Nhưng phần thú vị nhất: khi render bằng browser trong 5 giây, 273 trên 274 trang (99%) đạt 80%+ visibility. Nội dung tồn tại, website không hỏng. Nó chỉ bị khóa phía sau JavaScript runtime mà AI crawler không trả tiền để chạy.
Tại Sao Các Ông Lớn Fintech Vẫn Mắc Lỗi Này?
Danh sách 47 trang zero-content gồm những cái tên đáng ngạc nhiên: Binance, Coinbase, Revolut, LendingTree, Cleo AI, Trading 212. Đây là những công ty có engineering team hàng trăm người, budget kỹ thuật khổng lồ. Vậy tại sao?
Lý do: kh ai trong team đặt “AI visibility” là constraint khi ra quyết định kiến trúc. Họ chọn React/Next.js SPA, tin rằng CSR là default, và không ai đặt câu hỏi: “Nếu bot không chạy JS, trang này trông như thế nào?”
Bảng dưới cho thấy độ chênh lệch thời gian giữa raw fetch và network idle ở một số trang nổi bật:
| Trang | Raw fetch | Time-to-idle ratio |
|---|---|---|
| Plus500 | 61ms | 498x |
| Binance | 61ms | 102x |
| Coinbase | 80ms | 71x |
| Revolut | 180ms | 29x |
| Ant Group | 1123ms | 5.4x |
Plus500 mất 61ms để trả raw HTML, nhưng browser phải chờ 498 lần lâu hơn để đạt network idle. Tức là gần 30 giây. Không AI crawler nào kiên nhẫn chờ lâu như vậy.
Nhóm Trang Fintech “A+” Trong Mắt AI Crawler Làm Gì Khác?
101 trang (37%) đạt 100% raw visibility — AI crawler thấy toàn bộ nội dung ngay lần request đầu tiên. Danh sách gồm Stripe, Plaid, Adyen, Marqeta, Remitly, Starling Bank, và 96 trang khác. Fiserv trả đầy đủ homepage trong 58 milliseconds.
Điểm chung: họ dùng modern stack nhưng quyết định server-side rendering (SSR) hoặc static generation cho nội dung quan trọng. Framework không phải vấn đề — quyết định kiến trúc mới là. Stripe dùng Next.js, Adyen dùng hệ thống riêng, nhưng đều đảm bảo raw HTML chứa content.
Đừng tin lời hứa “framework X tự động tốt cho SEO”. Hãy nhìn vào data: cùng danh sách fintech, cùng level kỹ thuật, nhưng 64% đúng và 36% sai. Khoảng cách nằm ở choice, không nằm ở tool.
John Mueller Nói Gì Về SEO Cho AI Agent?
Cùng tuần nghiên cứu trên xuất bản, John Mueller của Google trả lời câu hỏi trên Bluesky về việc nguyên tắc chất lượng search có thay đổi khi AI agent ngày càng browse web thay user. Câu trả lời của ông ngắn gọn:
“A website that’s useful for users will generally also be useful for agentic browsers.”
Nhưng ông cũng thêm một caveat quan trọng: “Some details will undoubtedly evolve — and new basics, such as not blindly blocking agentic browsers, will come into play.”
Tôi diễn giải thế này: nguyên tắc UX và content quality không đổi. Nhưng technical layer đang chuyển mình. Nếu website của bạn chặn AI crawler qua robots.txt — vô tình hay cố ý — bạn đang tự cắt mình khỏi tương lai search. Nếu nội dung phụ thuộc JS rendering, bạn đang tạo khoảng cách mà AI crawler không thể lấp.
Website Việt Nam Có Đang Mắc Lỗi “Invisible To AI”?
Tôi không có data chính xác cho thị trường Việt Nam, nhưng dựa trên kinh nghiệm audit khoảng 50 website VN trong 6 tháng qua, tôi ước lượng tỷ lệ website invisible trước AI crawler còn cao hơn fintech global. Lý do:
1. SPA/CSR quá phổ biến — nhiều team dev VN chọn Vue.js/React SPA mặc định mà không set up SSR. Trang chủ trả HTML rỗng, nội dung load qua API sau khi JS chạy.
2. WordPress themes nặng plugin — một số theme dùng page builder render toàn bộ content qua JavaScript (Elementor widgets động, animation triggers). Raw HTML chỉ có skeleton.
3. Không ai test raw HTML — QA kiểm tra trên browser, SEO check trên PageSpeed Insights, nhưng không ai curl trang và đọc source. Khoảng cách invisible không xuất hiện trong dashboard nào.
Kiểm Tra Website Có Bị Invisible Trước AI Crawler Trong 5 Phút?
Bạn không cần Playwright hay tool phức tạp. Mở terminal và chạy:
curl -s https://yourdomain.com | wc -c
curl -s https://yourdomain.com | grep -o '<p>.*</p>' | wc -lDòng đầu đếm số bytes trong raw HTML response. Dòng hai đếm số thẻ paragraph. Nếu bytes dưới 50KB hoặc số thẻ p dưới 5, khả năng cao nội dung đang bị phụ thuộc JS.
Cách chính xác hơn: dùng Agent Visibility Curve (AVC) — methodology từ nghiên cứu trên. So sánh text extracted từ raw fetch vs. browser render. Nếu raw fetch trả dưới 80% nội dung so với browser render, website của bạn đang invisible với phần lớn AI crawler.
5 Bước Khắc Phục “AI Invisibility” Cho Website?
Bước 1: Server-Side Rendering cho nội dung quan trọng. Nếu dùng Next.js, bật SSR hoặc Static Site Generation cho homepage và các landing page chính. Nếu dùng WordPress, đảm bảo theme render PHP ra HTML, không dump content qua AJAX.
Bước 2: Kiểm tra critical content trong raw HTML. Mở View Source (Ctrl+U), tìm hero headline, product description, contact info. Nếu không thấy trong source, AI crawler cũng không thấy.
Bước 3: Đừng block AI crawler trong robots.txt. Mueller cảnh báo ngay: “not blindly blocking agentic browsers.” Kiểm tra file robots.txt, đảm bảo không Disallow GPTBot, ClaudeBot, PerplexityBot nếu bạn muốn được cite trong AI search.
Bước 4: Thêm structured data (Schema markup). FAQPage, Organization, Product — AI crawler parse schema từ raw HTML. Nếu content body bị JS gate, schema ít nhất cung cấp context tối thiểu. Theo data tôi thu thập, FAQPage schema tăng 3.2x khả năng được AI Overviews cite.
Bước 5: Monitor AI visibility định kỳ. Google Search Console đã có Gen AI Performance Report. Kết hợp với AVC check hàng quý. Nếu impressions trong AI report giảm trong khi traffic ổn định, vấn đề có thể nằm ở rendering.
Kết Luận: Rendering Independence Là SEO Mới Của 2026
Sau khi đọc xong nghiên cứu này, tôi audit lại 3 website khách hàng đang làm SEO. Một trang du lịch build bằng Next.js — CSR mode — trả raw HTML 12KB với đúng 2 thẻ p. Trang đó đang mất 40% organic traffic trong 3 tháng qua mà khách tưởng do algorithm update. Thực ra, AI crawler đến, thấy trang rỗng, bỏ đi.
Đừng lặp lại sai lầm. Machine-First Architecture không phải buzzword — nó là requirement. Nội dung quan trọng phải tồn tại trong raw HTTP response, không phụ thuộc JavaScript. Nếu AI crawler không đọc được trang của bạn, trang đó không tồn tại trong thế giới AI search.
Nghiên cứu đầy đủ được công bố trên Web Performance Tools, dữ liệu 274 công ty có thể tải CSV để tự đối chiếu. Tôi khuyến nghị đọc trước khi audit website tiếp theo.
