Tóm tắt nhanh
- Mỗi hãng AI dùng nhiều bot, mỗi bot một việc. Bot huấn luyện (GPTBot, ClaudeBot) thu thập dữ liệu để dạy mô hình. Bot tìm kiếm (OAI-SearchBot, Claude-SearchBot, PerplexityBot) xây chỉ mục để trích dẫn website của bạn trong câu trả lời. Bot theo yêu cầu người dùng (ChatGPT-User, Claude-User, Perplexity-User) chỉ mở trang khi có người hỏi.
- Chặn bot huấn luyện không làm bạn biến mất khỏi ChatGPT Search. Muốn được trích dẫn thì phải cho bot tìm kiếm vào. Chặn nhầm bot tìm kiếm là cách nhanh nhất để mất lượt giới thiệu từ AI.
- Google-Extended không phải crawler và không liên quan đến việc xuất hiện trong AI Overviews hay AI Mode. Hai tính năng này dùng chỉ mục của Googlebot.
- robots.txt là lời đề nghị, không phải hàng rào bảo mật. Bot theo yêu cầu người dùng có thể bỏ qua nó. Dữ liệu nhạy cảm phải đặt sau đăng nhập.
llms.txtlà tùy chọn và chưa có bằng chứng giúp tăng trích dẫn. Google nói rõ không dùng file này. Đừng ưu tiên nó trước khi robots.txt chạy đúng.
Vì sao robots.txt quan trọng với AI Search
Khi ai đó hỏi ChatGPT, Perplexity hay Claude một câu có cần tra cứu web, hệ thống sẽ lấy nội dung từ các trang đã được lập chỉ mục, rồi tổng hợp thành câu trả lời kèm liên kết nguồn. Nếu bot của hệ thống đó không được phép vào website của bạn, trang của bạn không có mặt trong nguồn để trích dẫn.
Cần đặt đúng kỳ vọng: Google vẫn là nguồn truy cập áp đảo. Theo nghiên cứu của SE Ranking năm 2026, các nền tảng AI mới chiếm khoảng 0,32% tổng lượng truy cập website, trong khi tìm kiếm tự nhiên chiếm khoảng 42,75%. Lượng truy cập từ AI tăng nhanh (gấp 16 lần so với 2024) nhưng vẫn nhỏ. Vì vậy robots.txt cho AI là việc đáng làm vì chi phí thấp, không phải vì nó thay thế được SEO truyền thống.
robots.txt tuân theo chuẩn RFC 9309 (Robots Exclusion Protocol). Đây là file văn bản đặt ở thư mục gốc, ví dụ https://example.com/robots.txt, báo cho crawler biết đường dẫn nào được hoặc không được thu thập. Bot nghiêm túc sẽ tuân theo, nhưng không có cơ chế cưỡng chế kỹ thuật.
Ba nhóm bot AI cần phân biệt
| Nhóm | Mục đích | Ví dụ | Nên làm gì nếu muốn được trích dẫn mà không “tặng” dữ liệu huấn luyện |
|---|---|---|---|
| Huấn luyện | Thu thập nội dung để huấn luyện mô hình | GPTBot, ClaudeBot, CCBot, meta-externalagent | Chặn |
| Tìm kiếm / lập chỉ mục | Xây chỉ mục để hiển thị và trích dẫn nguồn | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot | Cho phép |
| Theo yêu cầu người dùng | Mở một trang cụ thể khi người dùng hỏi | ChatGPT-User, Claude-User, Perplexity-User | Thường để mặc định; đừng trông cậy robots.txt để chặn |
Bảng chi tiết (đã đối chiếu tài liệu chính thức, 11/2026)
| Token | Công ty | Vai trò | Tuân thủ robots.txt? |
|---|---|---|---|
GPTBot | OpenAI | Thu thập nội dung có thể dùng để huấn luyện mô hình | Có. Chặn nghĩa là yêu cầu không dùng nội dung để huấn luyện |
OAI-SearchBot | OpenAI | Đưa website vào kết quả của ChatGPT Search | Có. Bị chặn thì không hiện trong câu trả lời tìm kiếm, chỉ có thể còn dạng liên kết điều hướng |
ChatGPT-User | OpenAI | Mở trang khi người dùng ChatGPT hoặc Custom GPT yêu cầu | Không đảm bảo. OpenAI nói vì hành động do người dùng khởi tạo nên robots.txt có thể không áp dụng. Không dùng để quyết định hiển thị trong Search |
ClaudeBot | Anthropic | Thu thập nội dung có thể dùng để huấn luyện | Có. Hỗ trợ Crawl-delay |
Claude-SearchBot | Anthropic | Lập chỉ mục để cải thiện kết quả tìm kiếm của Claude | Có. Chặn có thể làm giảm khả năng hiển thị trong kết quả tìm kiếm của Claude |
Claude-User | Anthropic | Mở trang theo yêu cầu của người dùng Claude | Có. Chặn có thể làm giảm khả năng truy xuất khi người dùng yêu cầu |
PerplexityBot | Perplexity | Hiển thị và liên kết website trong kết quả Perplexity; không dùng để huấn luyện mô hình nền tảng | Có |
Perplexity-User | Perplexity | Mở trang khi người dùng hỏi | Thường bỏ qua robots.txt vì là yêu cầu do người dùng khởi tạo |
Google-Extended | Token điều khiển việc dùng nội dung cho huấn luyện và grounding của Gemini Apps, Vertex AI | Có, nhưng không phải crawler: không có user-agent riêng, không xuất hiện trong log |
Ba điểm bài viết gốc nói chưa chính xác, nay đã sửa:
- Google-Extended không ảnh hưởng đến AI Overviews hay AI Mode. Google nêu rõ token này không tác động đến việc website có trong Search hay không và không phải tín hiệu xếp hạng. Cả hai tính năng AI trên đều dùng chỉ mục của Googlebot.
- Bảng 8 bot thiếu
Claude-SearchBot. Anthropic hiện có ba bot riêng cho ba mục đích, giống OpenAI. - Perplexity-User thường bỏ qua robots.txt là đúng, và
ChatGPT-Usercũng không còn được OpenAI cam kết tuân thủ.
Các bot khác nên biết
Applebot-Extended: token (không phải crawler) để từ chối việc dùng nội dung đã được Applebot thu thập cho huấn luyện AI của Apple.meta-externalagent: bot huấn luyện của Meta.CCBot: crawler của Common Crawl, nguồn dữ liệu cho nhiều bộ huấn luyện AI.Bytespider(ByteDance): không có tài liệu chính thức rõ ràng về cách xử lý robots.txt.
Danh sách bot AI thay đổi liên tục (danh sách cộng đồng ai.robots.txt đã theo dõi hơn 150 token). Hãy rà soát lại mỗi quý.
Ba mẫu robots.txt có thể dùng ngay
Trước khi copy, nhớ một quy tắc dễ gây lỗi: bot có nhóm User-agent riêng sẽ chỉ làm theo nhóm đó và bỏ qua nhóm User-agent: *. Vì vậy nếu bạn khai báo riêng OAI-SearchBot, các đường dẫn riêng tư cần được chặn lại trong chính nhóm đó.
Hãy thay example.com và các đường dẫn /admin/, /checkout/, /account/ bằng cấu trúc website của bạn.
Mẫu A: Xuất hiện trong AI Search, từ chối huấn luyện
Phù hợp: nhà xuất bản, blog, website affiliate muốn được trích dẫn nhưng không muốn nội dung vào dữ liệu huấn luyện.
# --- Bot huấn luyện: từ chối ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
# --- Bot tìm kiếm AI: cho phép, trừ khu vực riêng tư ---
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/
Disallow: /checkout/
Disallow: /account/
# --- Mọi bot còn lại (gồm Googlebot, Bingbot) ---
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Gộp nhiều dòng User-agent liên tiếp vào một nhóm là cú pháp hợp lệ theo RFC 9309 và giúp file gọn hơn.
Mẫu B: Mở hoàn toàn
Phù hợp: tài liệu kỹ thuật, kho kiến thức mở, website muốn được AI nhắc đến tối đa và không ngại việc nội dung được dùng để huấn luyện.
User-agent: *
Disallow: /admin/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Lưu ý: mẫu này cũng cho phép bot huấn luyện. Đây là lựa chọn kinh doanh, không phải lựa chọn mặc định an toàn.
Mẫu C: Phân vùng chi tiết
Phù hợp: website có phần công khai muốn chia sẻ và phần còn lại muốn giữ. Ví dụ cho phép bot huấn luyện chỉ đọc /blog/ và /guides/.
# Bot huấn luyện: chỉ được đọc khu vực công khai chọn lọc
User-agent: GPTBot
User-agent: ClaudeBot
Allow: /blog/
Allow: /guides/
Disallow: /
# Bot tìm kiếm AI: đọc toàn bộ, trừ khu vực riêng tư
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/
Disallow: /checkout/
Disallow: /account/
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Khi có cả Allow và Disallow khớp một đường dẫn, quy tắc cụ thể hơn (dài hơn) thắng. Vì thế Allow: /blog/ hoạt động đúng cùng Disallow: /.
Phiên bản cũ của bài viết sai ở đâu? Mẫu C cũ chỉ liệt kê
Allow: /blog/kèm vài dòngDisallow. Do không cóDisallow: /, phần còn lại của website vẫn mở, nên các dòngAllowkhông có tác dụng. Mẫu cũ cũng cho GPTBot (bot huấn luyện) vào/blog/, trái với mục tiêu của chính bài viết.
Năm lỗi phổ biến
- Deploy nhầm robots.txt của môi trường staging (
Disallow: /cho tất cả bot) lên production. Đây là lỗi nghiêm trọng nhất và hay xảy ra khi triển khai tự động. Hãy đặt kiểm tra tự động trong quy trình release. - Máy chủ trả lỗi 5xx khi bot yêu cầu
/robots.txt. Theo RFC 9309, nếu file không truy cập được vì lỗi máy chủ, crawler nên coi như toàn bộ site bị cấm. Mỗi hãng xử lý hơi khác: Google dùng bản robots.txt hợp lệ gần nhất trong tối đa 30 ngày, còn với bot AI thì tài liệu chưa nói rõ, nên hãy giả định cách xử lý nghiêm nhất. Ngược lại, lỗi 4xx (trừ 429) thường được coi là “không có file, không hạn chế”. - Nhầm bot huấn luyện với bot tìm kiếm. Chặn
OAI-SearchBothayPerplexityBotkhi chỉ muốn từ chối huấn luyện sẽ làm bạn mất khả năng được trích dẫn. - Tường lửa/CDN chặn bot dù robots.txt cho phép. Một số dịch vụ CDN, WAF hoặc cấu hình bảo mật trả 403 cho bot ở lớp mạng, nên bot không bao giờ đọc được robots.txt hay trang. Kiểm tra log và quy tắc chặn bot. Nếu cần xác minh bot thật, dùng danh sách IP do hãng công bố (OpenAI và Perplexity đều có file IP chính thức).
- Coi robots.txt là bảo mật. File này công khai, ai cũng đọc được, và nó thậm chí liệt kê các đường dẫn bạn muốn giấu. Trang nhạy cảm cần đăng nhập hoặc kiểm soát truy cập thật sự.
Hai lỗi nhỏ hơn: quên dòng Sitemap: (không bắt buộc nhưng giúp bot tìm URL), và dựa vào Crawl-delay (Google không hỗ trợ; Anthropic có hỗ trợ cho ClaudeBot; OpenAI không công bố hỗ trợ).
Thay đổi có hiệu lực sau bao lâu?
OpenAI cho biết hệ thống tìm kiếm có thể cần khoảng 24 giờ để áp dụng thay đổi robots.txt. Perplexity nói tương tự (tối đa 24 giờ). Đó là thời gian bot nhận ra quy tắc mới, không phải thời gian bạn xuất hiện trở lại trong câu trả lời AI. Việc lập chỉ mục lại và được chọn làm nguồn trích dẫn phụ thuộc vào từng hệ thống và chưa có con số cam kết.
Bài viết gốc có nhắc các số liệu như “traffic về 0 sau 48 giờ, phục hồi sáu tuần” hay “tăng 22% phiên mới sau sáu tuần”. Đây là kinh nghiệm cá nhân của tác giả, chưa có dữ liệu công khai để kiểm chứng, nên hãy xem như ví dụ minh họa chứ không phải mốc thời gian chuẩn. Bài học rút ra vẫn đúng: chặn nhầm có hiệu lực nhanh, còn lấy lại vị trí thì chậm.
Cách kiểm tra robots.txt
1. Kiểm tra mã phản hồi
curl -I https://example.com/robots.txt
Kết quả mong đợi: HTTP/2 200 và content-type: text/plain. Nếu thấy 5xx, 403 hoặc chuyển hướng bất thường, hãy sửa ngay.
2. Kiểm tra bot có bị tường lửa chặn không
curl -I -A "OAI-SearchBot" https://example.com/robots.txt
curl -I -A "PerplexityBot" https://example.com/robots.txt
Lệnh này chỉ giả lập user-agent, không phải bot thật, nhưng đủ để phát hiện quy tắc chặn theo tên bot.
3. Giám sát định kỳ
Đặt một tác vụ tự động tải robots.txt (ví dụ mỗi vài giờ) và cảnh báo khi: mã khác 200, nội dung thay đổi, hoặc xuất hiện Disallow: / ngoài ý muốn.
4. Rà soát mỗi quý
So lại danh sách bot với tài liệu chính thức của OpenAI, Anthropic, Perplexity, Google.
Google AI Overviews, AI Mode và công cụ kiểm soát mới
Vì có nhiều nhầm lẫn, đây là cách phân biệt:
| Bạn muốn | Công cụ phù hợp |
|---|---|
| Có mặt trong AI Overviews / AI Mode | Không cần cấu hình đặc biệt. Chỉ cần trang được lập chỉ mục và đủ điều kiện hiển thị snippet |
| Giới hạn nội dung hiển thị từ trang | nosnippet, data-nosnippet, max-snippet, noindex (lưu ý: các lệnh này cũng ảnh hưởng đến snippet trong kết quả thường) |
| Từ chối việc dùng nội dung cho huấn luyện/grounding Gemini | Google-Extended trong robots.txt |
| Rút hẳn website khỏi các tính năng AI của Google (AI Overviews, AI Mode, AI trong Discover) mà vẫn ở lại Search | Thiết lập Search generative AI control trong Search Console (đang triển khai dần, có thể chưa có ở mọi tài khoản) |
Thiết lập mới trong Search Console được triển khai đầu tiên ở Anh theo yêu cầu của cơ quan quản lý CMA, sau đó xuất hiện ở các tài khoản ngoài Anh từ tháng 7/2026. Báo cáo hiệu suất AI tạo sinh hiện chỉ hiển thị lượt hiển thị, chưa có số lần nhấp hay truy vấn. Cân nhắc kỹ trước khi rút khỏi tính năng AI: chưa có dữ liệu đủ để biết đánh đổi về lượt truy cập, và một số nhà xuất bản lo ngại việc này có thể kéo theo mất vị trí Top Stories nằm bên trong AI Overviews (đây là nhận định của chuyên gia, Google chưa xác nhận).
/llms.txt: có cần không?
llms.txt là đề xuất đặt một file Markdown ở thư mục gốc liệt kê các trang quan trọng cho mô hình ngôn ngữ. Bản gốc của bài viết gọi nó là “best practice đang nổi lên” và nói rằng nó “nâng cao đáng kể độ chính xác trích dẫn”. Bằng chứng hiện nay không ủng hộ nhận định đó:
- Google Search Central nói rõ bạn không cần tạo file AI riêng, Markdown riêng hay schema riêng để xuất hiện trong các tính năng AI của Google, vì Google Search không dùng chúng.
- Nghiên cứu của Ahrefs (6/2026, nhật ký máy chủ của 137.000 tên miền) cho thấy 97% file llms.txt không nhận được yêu cầu nào trong tháng 5/2026.
- Phân tích khoảng 300.000 tên miền của SE Ranking không tìm thấy mối liên hệ giữa việc có llms.txt và tần suất được AI trích dẫn.
- Chưa có nhà cung cấp AI lớn nào cam kết đọc file này trong hệ thống tìm kiếm.
Kết luận thực tế: tùy chọn, ưu tiên thấp. Tạo file chỉ tốn ít công và không gây hại, nhưng đừng kỳ vọng nó tăng lượt trích dẫn. Nó có ý nghĩa hơn với website tài liệu dành cho lập trình viên, nơi các agent lập trình có thể đọc file để điều hướng. Thứ thực sự quyết định bạn có được trích dẫn hay không vẫn là nội dung hữu ích, rõ ràng, được lập chỉ mục và đáng tin cậy.
Câu hỏi thường gặp
Chặn GPTBot có ngăn website xuất hiện trong ChatGPT Search không?
Không. Tìm kiếm của ChatGPT dựa vào OAI-SearchBot. Hai thiết lập độc lập với nhau. OpenAI cũng nói nếu bạn cho phép cả hai bot, họ có thể dùng kết quả của một lần thu thập cho cả hai mục đích để tránh crawl trùng lặp.
Chặn ClaudeBot có làm Claude không trích dẫn website của tôi không?
Không nhất thiết. ClaudeBot liên quan đến huấn luyện, còn Claude-SearchBot và Claude-User liên quan đến tìm kiếm và truy xuất theo yêu cầu.
Tôi có cần robots.txt riêng cho từng ngôn ngữ hay khu vực không?
Phụ thuộc vào cấu trúc. robots.txt áp dụng theo từng tên miền/subdomain (host). Nếu các phiên bản ngôn ngữ nằm trong thư mục con (example.com/vi/, example.com/en/), một file ở gốc là đủ, dùng quy tắc theo đường dẫn và một sitemap (hoặc sitemap index). Nếu dùng subdomain riêng (vi.example.com) hoặc tên miền riêng, mỗi host cần robots.txt riêng. Anthropic cũng nhắc rõ phải cấu hình cho từng subdomain.
Muốn chặn hẳn Perplexity-User hoặc ChatGPT-User thì làm sao? robots.txt không đảm bảo. Nếu cần kiểm soát chặt, hãy dùng xác thực, hoặc quy tắc tường lửa kết hợp danh sách IP chính thức do hãng công bố. Cái giá là mất khả năng được trích dẫn khi người dùng yêu cầu AI đọc trang của bạn.
Thay đổi bao lâu có hiệu lực? Bot thường nhận quy tắc mới trong khoảng 24 giờ theo tài liệu của OpenAI và Perplexity. Thời gian hiển thị lại trong câu trả lời AI thì không có cam kết.
Kết luận
robots.txt cho GEO là việc chi phí thấp, hiệu quả rõ ràng nếu làm đúng, nhưng nó không phải phép màu. Nó quyết định bot nào được phép đọc nội dung của bạn; việc bạn được chọn để trích dẫn vẫn phụ thuộc vào chất lượng nội dung và các yếu tố SEO nền tảng.
Quy trình gọn để bắt đầu:
- Quyết định chính sách: muốn được trích dẫn, muốn từ chối huấn luyện, hay cả hai.
- Chọn một trong ba mẫu ở trên và chỉnh đường dẫn riêng tư.
- Kiểm tra mã 200, kiểm tra tường lửa/CDN không chặn bot tìm kiếm.
- Thiết lập giám sát robots.txt và nhắc lịch rà soát mỗi quý.
- Xem
llms.txtlà phần thêm tùy chọn, không phải ưu tiên.
Nguồn tham khảo
Các nguồn dưới đây được truy cập để kiểm chứng bài viết vào ngày 05/11/2026. Chính sách bot thay đổi thường xuyên, hãy đối chiếu lại tài liệu gốc trước khi triển khai.
- OpenAI, Overview of OpenAI Crawlers: https://developers.openai.com/api/docs/bots
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?: https://support.claude.com/en/articles/8896518
- Perplexity, Perplexity Crawlers: https://docs.perplexity.ai/docs/resources/perplexity-crawlers.md
- Google, How Google interprets the robots.txt specification: https://developers.google.com/search/reference/robots_txt
- Google, AI features and your website: https://developers.google.com/search/docs/appearance/ai-features
- Google, Common crawlers (Google-Extended): https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Console Help, Search generative AI control: https://support.google.com/webmasters/answer/16908024
- IETF, RFC 9309, Robots Exclusion Protocol: https://www.rfc-editor.org/rfc/rfc9309
- Search Engine Journal, What Opting Out Of Google’s AI Search Features Means Now (01/08/2026): https://www.searchenginejournal.com/what-opting-out-of-googles-ai-search-features-means-now/584321/
- SE Ranking, AI traffic study 2026: https://seranking.com/blog/ai-traffic-study/
- PPC Land, tổng hợp nghiên cứu llms.txt của Ahrefs và Originality.ai (2026): https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/