「找得到」是什么，为什么排第一
「找得到」是指搜索引擎爬虫和 AI 爬虫能稳定访问网站，并完整拿到页面上的文字内容。 它是支点 GEO 方法论四个阶段中的第一关：机器拿不到内容，就谈不上「读得懂」，更谈不上「敢引用」。
我们在诊断外贸网站时，经常遇到这样的情况：企业花了很多精力写产品介绍、做多语言，但网站模板默认在 robots.txt 里挡掉了部分爬虫，或者产品参数全部做成了图片，或者整站内容靠 JavaScript 动态加载。对人来说页面看起来一切正常，对机器来说却几乎是空白页。
这一阶段的目标很朴素：
- 核心页面对搜索引擎和主流 AI 爬虫开放；
- 正文以 HTML 文本形式直接输出，不依赖脚本和图片；
- 每个重要页面都有被发现的路径（Sitemap、内链）；
- 在搜索引擎的索引报告里能确认已被收录。
先认识访问你网站的“机器”
访问外贸网站的机器分三类：传统搜索引擎爬虫、AI 检索爬虫、AI 训练爬虫，它们用途不同，应该分别对待。
| 类型 | 常见代表（以各平台公开文档为准） | 用途 | 对外贸企业的建议 |
|---|---|---|---|
| 搜索引擎爬虫 | Googlebot、Bingbot、YandexBot | 建立搜索索引；Google AI 概览、必应 Copilot 等也建立在搜索索引之上 | 必须开放 |
| AI 检索爬虫 | OAI-SearchBot（ChatGPT 搜索）、PerplexityBot、ChatGPT-User、Perplexity-User 等 | 为 AI 搜索和用户实时提问抓取网页 | 建议开放，否则 AI 回答时很难引用你 |
| AI 训练爬虫 | GPTBot、Google-Extended（控制标识）、CCBot 等 | 收集数据用于模型训练 | 按企业政策决定，可以与检索爬虫分开设置 |
需要说明两点：
- Google-Extended 不是独立爬虫，而是 robots.txt 里的一个控制标识。 按 Google 官方说明，它控制内容是否用于 Gemini 等模型的训练和部分生成功能，不影响 Google 搜索收录和排名。
- 国内 AI 平台（豆包、Kimi、DeepSeek 等）的联网搜索，公开的爬虫说明相对较少。 它们通常依赖自有或合作的搜索索引。实操上，保证网站对主流搜索引擎开放、内容是可抓取的文本，是覆盖这些平台的最稳妥方式；字节跳动等公司的爬虫标识，可以在服务器日志里自行核对。
robots.txt：不要在技术层把门锁死
robots.txt 是机器访问网站时最先读取的规则文件，一行配置错误就可能让整站对某类爬虫不可见。
常见问题有三种：
- 模板默认屏蔽：部分建站模板或安全插件会默认加上
Disallow: /，或者屏蔽一批 AI 爬虫，企业自己并不知道。 - 误挡资源文件：屏蔽了 CSS、JS 目录，导致搜索引擎无法正确渲染页面。
- 测试站规则带到正式站：上线时没有删除测试阶段的全站屏蔽规则。
一个适合多数 B2B 外贸网站的思路是：搜索引擎爬虫和 AI 检索爬虫全部放行；训练类爬虫按企业意愿单独写规则；后台、搜索结果页、购物车等无内容价值的路径单独屏蔽；末尾写明 Sitemap 地址。
另外，robots.txt 只是“君子协议”，真正决定能否访问的还有服务器防火墙、CDN 的机器人防护和地区屏蔽。我们见过网站的 robots.txt 写得很开放，但 CDN 把海外数据中心的请求当作攻击拦截了，结果对爬虫依然不可见。所以检查要以服务器日志里的真实访问记录为准。
渲染：正文必须是可抓取的文字
机器读的是 HTML 源码里的文字，不是页面截图。正文、参数、FAQ 这些关键内容必须直接输出在 HTML 里。
外贸网站最常见的“隐形内容”：
- 参数表做成图片：设备参数、材质规格、认证信息只放了一张图，机器读不出任何数字；
- 整站依赖 JavaScript 渲染：部分单页应用框架，首屏 HTML 只有一个空容器，内容靠脚本加载。Google 能执行部分 JS，但有延迟和预算限制；很多 AI 爬虫基本不执行 JS；
- 内容藏在交互里：Tab、手风琴、弹窗里的文字如果是点击后才请求加载，机器可能拿不到；
- PDF 代替网页：产品目录只提供 PDF 下载，没有对应的网页版本。
自查方法很简单：在浏览器里“查看网页源代码”（不是开发者工具里的元素面板），搜索页面上的一个关键参数或一句话。搜不到，就说明机器很可能也看不到。
发现路径：Sitemap、内链和 URL
机器发现页面主要靠两条路：Sitemap 文件和站内链接。孤立页面即使存在，也可能长期不被抓取。
- Sitemap：自动生成，只包含可访问、可索引的正式页面，提交到 Google Search Console 和必应站长平台；
- 内链：每个产品页、文章页都应该能从导航、分类页或相关内容链接到达，层级不宜过深；
- URL：一个页面只有一个规范地址（canonical），多语言页面使用独立 URL 并正确设置 hreflang；
- 改版跳转：旧 URL 用 301 指向内容对应的新页面，不要全部跳首页。详见网站改版 301 重定向。
llms.txt 与 Markdown 镜像：补充，不是捷径
llms.txt 是放在网站根目录、用 Markdown 写给 AI 看的网站说明；Markdown 镜像是核心页面的纯文本版本。两者都属于低成本的补充手段。
需要客观看待：llms.txt 目前是社区提出的建议格式，主流 AI 平台并没有公开承诺会读取它。我们会为客户部署，是因为成本低、能逼着企业把“公司是谁、核心页面有哪些”梳理清楚，而不是因为它能直接带来推荐。具体写法见llms.txt 怎么做。
真正决定“找得到”的，仍然是前面三项：robots.txt 开放、正文可抓取、发现路径完整。
交付物与检查清单
这一阶段的交付物是一份诊断报告和一份技术修复清单，修复完成以检查清单全部通过为准。
诊断报告通常包含：robots.txt 与防火墙规则审查、核心页面源码可见性检查、Sitemap 与内链覆盖情况、Search Console / 必应站长平台索引状态、服务器日志中的爬虫访问情况、llms.txt 与结构化数据现状。
可以直接拿来自查的清单：
- robots.txt 没有屏蔽 Googlebot、Bingbot 和主流 AI 检索爬虫
- 训练类爬虫的处理方式是企业主动决定的，而不是模板默认
- CDN、防火墙没有误拦海外爬虫（以服务器日志为准）
- 核心页面没有 noindex，不需要登录才能查看
- 在“查看网页源代码”中能搜到正文和关键参数
- 参数、认证等关键信息不是只有图片或 PDF
- Sitemap 自动更新，已提交到 Search Console 和必应站长平台
- 每个重要页面至少有一条站内链接指向它
- 改版后的旧 URL 已 301 到对应新页面
- llms.txt 已部署，内容与官网事实一致
详细诊断报告里（范围在免费基础判断后另行确认），这一阶段对应「技术 SEO 诊断」（收录、robots.txt、canonical、速度、重定向等）和「GEO 诊断」中的 AI 爬虫访问一项，每项都写明现状、风险和建议，报告结构见诊断范围与详细报告结构。
与其他阶段的关系
「找得到」通过之后，进入第二阶段「读得懂」：让机器准确理解你是谁、做什么。
技术问题往往是一次性集中修复，但需要在「持续优化」阶段定期复查：网站改版、换主题、加安全插件、换 CDN，都可能重新引入屏蔽问题。如果网站底层问题较多，通常建议先做外贸独立站重建或谷歌 SEO 基础优化，再进入 GEO。