llms.txt 实战指南:用途、限制与独立站写法

📈

llms.txt 是一个仍在发展的开放提案:网站可以用简洁的 Markdown 文件,向能够读取它的系统提供站点说明和重要内容链接。它可以作为机器可读的内容目录,但不是 Google Search 的排名规则,也不能强制 ChatGPT、Gemini 或其他产品抓取、收录或引用页面。

先记住边界:robots.txt 用于爬虫访问规则;页面的 noindex、canonical、结构化数据和实际正文各有自己的作用。llms.txt 不能替代这些标准,也不能用 Citation: required 要求外部系统必须给链接。

一、独立站什么时候值得创建

如果网站有大量文档、指南、产品资料或公开研究,简洁的 llms.txt 可以帮助支持该提案的工具快速找到重要入口。只有几个页面的小网站也可以创建,但它的优先级低于正常抓取、清晰导航、Sitemap、结构化数据和高质量正文。

不要把“创建了 llms.txt”当作 GEO 成果。真正需要验证的是:重要页面能否访问、是否提供清晰事实、是否被相关搜索或 AI 回答提及,以及引用来源有没有变化。

二、推荐使用提案中的 Markdown 结构

# Example Industrial

> 为美国采购商提供不锈钢板和钢卷,包含规格、标准、应用与询盘资料。

## Products
- [Stainless Steel Sheet](https://example.com/products/stainless-steel-sheet): 规格、材质、表面与采购信息
- [Stainless Steel Coil](https://example.com/products/stainless-steel-coil): 厚度、宽度、标准与应用

## Guides
- [Material Selection Guide](https://example.com/guides/stainless-steel-grades): 常见牌号和选型依据

## Company
- [About](https://example.com/about): 企业、团队与质量控制信息
- [Contact](https://example.com/contact): 询盘与联系渠道

标题说明网站是谁,引用块概括业务,二级标题用于分组,列表链接到真正重要的公开页面。描述必须与页面实际内容一致,不要罗列搜索结果页、筛选参数页、后台、登录页或大量重复 URL。

三、用 Codex + SEO Agent 生成初稿

先让 SEO Agent 审计公开页面、Sitemap、canonical 和索引阻碍,再由 Codex筛选真正值得列出的页面。这样生成的是站点内容导航,而不是把 Sitemap 全部复制一遍。

请调用 SEO Agent 检查 example.com 的公开页面、Sitemap、robots、canonical 和主要页面类型,再为网站生成一份简洁的 llms.txt 初稿。
要求:只收录可公开访问、canonical 正确且对客户有实际价值的产品页、指南、公司与联系页面;使用 Markdown 标题、说明和链接列表;不要编造页面、资质或产品信息;列出需要我人工确认的页面。

四、发布前检查

  1. 确认每个链接返回 200,且不是重定向、404 或登录页面。
  2. 确认描述与页面正文相符,不包含虚构资质、数据和产品。
  3. 将文件放在 https://example.com/llms.txt,返回 text/plain 或可正常读取的文本内容。
  4. 保留正常的 robots.txt、Sitemap、内部链接和结构化数据,不要用 llms.txt 替换它们。
  5. 网站页面发生重要变化后再更新,避免维护一份长期失真的链接目录。

五、如何判断有没有作用

目前不能仅凭存在该文件证明 AI 一定读取或引用了网站。可以让 SEO Agent 定期检查文件可访问性、失效链接和重要页面变化,并结合品牌提及、引用来源、推荐流量和服务器日志观察趋势。没有引用增长时,应优先检查内容是否真正有独特事实和引用价值,而不是继续堆指令。

请检查 https://example.com/llms.txt 是否可访问,逐个验证其中链接、canonical 和页面用途;指出失效、重复、低价值或与描述不一致的条目,并给出应保留、更新和删除的清单。不要承诺该文件会提升 Google 排名或保证 AI 引用。

六、总结

llms.txt 可以作为辅助性的机器可读内容索引,但仍属于实验性做法。独立站的核心工作始终是保证重要页面可抓取、内容真实有用、站点身份清晰、内部链接合理,并通过真实搜索和引用数据持续验证。

格式可参考 llms.txt 提案;Google AI 搜索仍遵循常规搜索技术要求和内容政策,可参考 Google AI 功能与网站