GEO专栏 · 抓取与技术

llms.txt是什么:内容索引提案、格式与使用边界

本文目录
  1. 它能提供什么
  2. Markdown格式示例
  3. 访问规则仍由robots.txt处理
  4. 上线后检查什么
  5. 参考资料

llms.txt是面向大语言模型的站点内容索引提案,通常使用Markdown概述站点并链接重要资料。它与robots.txt职责不同,不是爬虫权限、训练许可或保证引用的通用控制文件。

它能提供什么

可提供简短的站点介绍、服务入口、指南及联系页面,帮助读取该文件的工具找到内容。是否读取或使用,取决于具体产品;不能把文件上线等同于搜索收录或模型推荐。

Markdown格式示例

# 麻雀GEO

> GEO、SEO与静态建站的实践资料和服务说明。

## 指南
- [GEO入门](https://maquegeo.cn/geo-tips/what-is-geo.html):概念与实施边界。
- [效果评估](https://maquegeo.cn/geo-tips/geo-effects.html):样本和业务指标。

## 服务与联系
- [服务介绍](https://maquegeo.cn/services/):交付范围与咨询流程。
- [联系我们](https://maquegeo.cn/about-us.html#contact):现有联系入口。

访问规则仍由robots.txt处理

使用robots.txt声明爬虫访问规则,并在需要身份验证的内容上采取真正的访问控制。llms.txt中自行添加Noai、Attribution等字段,不会自动成为所有平台遵守的标准。

上线后检查什么

  1. 确认文件可从站点根目录以文本形式访问。
  2. 确认每条链接都存在且使用规范地址。
  3. 确保品牌和服务信息与公开页面一致。
  4. 内容变化时同步更新,避免塞入无来源的效果数字。

参考资料

llms.txt提案及格式;Google:robots.txt介绍。

资料与结论应结合适用条件核验。查看内容与引用规范