AI爬虫检查清单：区分训练、搜索与用户访问

“AI爬虫”是一个宽泛说法，可能涵盖训练语料收集、搜索索引和用户触发的访问。识别请求的目的应以平台官方说明为依据，而不是把所有访问都视作收录或推荐。

先区分三类请求

• 训练相关抓取：关注平台公布的用途、控制方式与授权政策。
• 搜索相关抓取：关注页面能否访问、是否可被检索以及是否提供来源链接。
• 用户触发访问：一次访问可能来自用户请求，不能由此推断平台已经系统索引全站。

使用官方入口核对

• OpenAI爬虫文档
• Anthropic爬虫说明
• Google抓取工具概览
• Perplexity爬虫说明

如何核查日志

记录请求时间、URL、状态码、User-Agent及来源地址。结合官方公布的身份核验方法验证，避免只看名称。网站访问分析脚本通常无法完整观察不执行JavaScript的爬虫，服务器日志更适合检查请求。

网站端的基础检查

1. 公开页面有有效证书并稳定返回正确状态。
2. 正文和关键链接直接存在于HTML。
3. robots与网站业务目标一致，Sitemap使用规范地址。
4. 不存在的路径返回真实404，而不是首页200。

不要混淆文件职责

robots用于爬虫访问规则，真正的私有内容需要权限验证。llms.txt是内容索引提案，不能替代访问控制，也不能保证被训练、搜索展示或回答引用。