阶段 01
找得到
Discoverable
AI 爬虫进得来、抓得到吗?
阅读完整指南找得到是 GEO 的第一关:先确认 AI 爬虫能访问网站,再用技术部署让页面内容可以被完整抓取和解析。只要内容本身有资格被引用,就别在技术层把门锁死。
目标
- AI 爬虫能稳定访问核心页面
- 正文以可抓取的 HTML 文本呈现
- 机器能读懂网站结构与页面层级
关键动作
- AI 爬虫抓取诊断:robots.txt、noindex、登录墙、JS 动态加载
- 在 Search Console 与服务器日志中查 GPTBot、OAI-SearchBot 等抓取记录
- 生成并部署 llms.txt
- 为核心页面提供 Markdown 镜像
- 部署 Schema 结构化数据:Organization、Service、FAQPage、BreadcrumbList、Article、Product
交付物
- 网站与 AI 可见性诊断报告
- 技术部署清单(llms.txt、Markdown 镜像、Schema、抓取设置)
检查项
- robots.txt 未屏蔽主流 AI 爬虫
- 重要页面没有 noindex,也不需要登录才能看
- 关键内容不依赖 JS 才能显示,重要信息不做成图片
- Sitemap 正常,结构化数据通过校验