AI 爬虫访问检测：ChatGPT、Perplexity 进得来你的网站吗？

免费，不需要注册，也不用留联系方式就能看到完整结果。为防止滥用，每个 IP 每小时最多检测 10 次。

两件事：一是读取网站的 robots.txt，按 RFC 9309 规则逐个判断 16 个搜索和 AI 爬虫能否访问首页；二是分别以普通浏览器、Googlebot、GPTBot 的身份请求首页，对比返回状态码、是否有 H1 标题、是否有 noindex、正文是否为空或出现人机验证。

不是。robots.txt 允许只是第一关“进得来”。能否被引用还取决于页面内容是否可读、信息是否完整可信、站外有没有一致的企业信息。完整判断可以用 GEO 就绪度自测，或预约免费诊断。

GPTBot 用于 OpenAI 模型训练，OAI-SearchBot 用于 ChatGPT 搜索结果，ChatGPT-User 是用户提问时的实时访问。外贸企业希望在 ChatGPT 搜索里被找到，至少要放行 OAI-SearchBot 和 ChatGPT-User；是否放行训练类爬虫，可以按自己对内容授权的态度决定。

常见原因是 CDN、防火墙或安全插件按 User-Agent 拦截了 AI 爬虫，或者开启了人机验证。这类拦截不写在 robots.txt 里，所以要看本工具的“首页返回”对比。处理方法是在 CDN / 防火墙里为需要的爬虫放行。

不一定。本工具从国内服务器发出请求，只模拟了爬虫的 User-Agent。部分防火墙会核验真实爬虫的来源 IP，对模拟请求和真实爬虫的处理可能不同。结果适合用来发现明显的拦截；要确认真实抓取情况，应结合服务器访问日志和 GSC 的抓取统计。

按 RFC 9309，robots.txt 返回 4xx（例如 404）视为没有限制，所有爬虫都可以访问；返回 5xx 或无法连接时，爬虫通常会暂停或减少抓取。工具会在这种情况下提示“robots.txt 无法访问”，建议优先修复。

Google-Extended 只是一个控制标记，用来决定内容能否用于 Gemini 等 AI 模型，不影响 Google 搜索的抓取和排名，Google 搜索由 Googlebot 负责。是否放行它，按你对 AI 使用内容的态度决定。

不会长期保存。检测结果只在服务器内存里缓存 10 分钟（同一网址重复检测直接返回缓存），限流计数只保留 1 小时，不写入数据库，也不在日志里记录网址。

不可以。出于安全原因，工具只检测公网域名：不支持直接输入 IP，只访问 80 和 443 端口；解析到内网、保留地址，或重定向到这类地址的请求都会被拒绝。

结果下方会针对每类问题给出修法，例如修改 robots.txt 的哪一行、在 CDN 放行哪些爬虫。如果网站由建站平台托管、自己改不了，可以提交免费诊断，我们会在基础判断中说明主要问题和处理方向。

llms.txt 是一个仍在发展中的提议格式，用来给 AI 提供网站内容的简明索引。目前没有证据表明主流 AI 搜索会依赖它，所以工具只提示有没有，不计入问题。做不做、怎么写可以看我们的 llms.txt 文章。