LLMs.txt解读：网络新的LLM-Ready内容标准

六个月前，LLMs.txt 作为一种开创性的文件格式问世，旨在使大型语言模型 (LLM) 可以访问网站文档。自发布以来，该标准在开发人员和内容创建者中的影响力稳步上升。如今，随着围绕模型上下文协议（MCP）的讨论愈演愈烈，LLMs.txt 作为一种久经考验、人工智能优先的文档解决方案，在人类可读内容和机器友好型数据之间架起了一座桥梁，成为人们关注的焦点。在本文中，我们将探索 LLMs.txt 的发展历程，研究其结构和优势，深入探讨技术集成（包括 Python 模块和 CLI），并将其与新兴的 MCP 标准进行比较。

LLMs.txt的兴起

背景和语境

六个月前发布的 LLMs.txt 是为了应对一个关键挑战而开发的：robots.txt 和 sitemap.xml 等传统网络文件是为搜索引擎爬虫设计的，而不是为需要简洁、经过编辑的内容的人工智能模型设计的。LLMs.txt 提供了网站文档的精简概览，使 LLMs 能够快速了解基本信息，而不会被无关的细节所困扰。

要点：

• 目的：将网站内容提炼为适合人工智能推理的格式。
• 采用： 在其短暂的生命周期内，Mintlify、Anthropic 和 Cursor 等主要平台已经集成了 LLMs.txt，凸显了其有效性。
• 当前趋势： 随着最近围绕 MCP（模型上下文协议）的讨论激增，社区正在积极比较这两种增强 LLM 能力的方法。

Twitter上的社区热议

Twitter 上的对话反映了 LLMs.txt 的快速应用和对其潜力的兴奋之情，同时有关 MCP 的讨论也在不断增加：

• Jeremy Howard (@jeremyphoward)：对这一势头表示庆祝，他说：”最近几周，我提出的 llms.txt 标准确实获得了巨大的发展势头。他感谢社区–尤其是 @StripeDev 的支持，Stripe 现已在其文档网站上托管 LLMs.txt。
• Stripe Developers（@StripeDev）：宣布他们已将 LLMs.txt 和 Markdown 添加到他们的文档（docs.stripe.com/llms.txt）中，使开发人员能够轻松地将 Stripe 的知识集成到任何 LLM 中。

• Developer Insights：@TheSeaMouse、@xpression_app 和 @gpjt 等开发者的推文不仅称赞了 LLMs.txt，还引发了将其与 MCP 进行比较的讨论。一些用户指出，LLMs.txt 增强了内容摄取功能，而 MCP 则有望使 LLMs 更具可操作性。

什么是LLMs.txt文件？

LLMs.txt 是一种 Markdown 文件，采用结构化格式，专门设计用于使 LLM 可以访问网站文档。主要有两个版本：

/llms.txt

• 目的：提供网站文档的高层次策划概述。它可以帮助法律硕士快速掌握网站的结构并找到关键资源。
• 结构：
  • 包含项目或网站名称的 H1。这是唯一必需的部分
  • 包含项目简短摘要的段落引语，其中包含理解文件其余部分所需的关键信息
  • 零个或多个除标题外的任何类型的标记符（如段落、列表等），包含有关项目的更多详细信息以及如何解释所提供的文件
  • 零个或多个由 H2 标题分隔的标记符部分，包含可获得更多详细信息的 URL “文件列表
    • 每个 “文件列表 ”都是一个标记符列表，包含一个必需的标记符超链接[名称](url)，然后可选择一个：和关于文件的注释。

/llms-full.txt

• 目的：在一个地方包含完整的文档内容，在需要时提供详细的上下文。
• 用法：特别适用于技术 API 参考资料、深入指南和综合文档。

结构示例代码段：

# Project Name
> Brief project summary
## Core Documentation
- [Quick Start](url): A concise introduction
- [API Reference](url): Detailed API documentation
## Optional
- [Additional Resources](url): Supplementary information

LLMs.txt的主要优势

与传统网络标准相比，LLMs.txt 有几个明显的优势：

• 针对 LLM 处理进行了优化：它去除了导航菜单、JavaScript 和 CSS 等非必要元素，只关注 LLM 所需的关键内容。
• 高效的上下文管理：鉴于 LLM 在有限的上下文窗口中运行，LLMs.txt 的简洁格式可确保只使用最相关的信息。
• 双重可读性：Markdown 格式使 LLMs.txt 既对人友好，又易于被自动工具解析。
• 对现有标准的补充：与sitemap.xml或robots.txt不同，LLMs.txt提供了一种经过整理的、以人工智能为中心的文档视图。

如何在人工智能系统中使用LLMs.txt？

要充分利用 LLMs.txt 的优势，必须手动将其内容输入人工智能系统。以下是不同平台如何集成 LLMs.txt：

ChatGPT

• 方法：用户将 /llms-full.txt 文件的 URL 或完整内容复制到 ChatGPT 中，丰富上下文以获得更准确的回复。
• 优点：此方法可让 ChatGPT 在需要时参考详细文档。

Source – Link

Claude

• 方法：由于 Claude 目前缺乏直接浏览功能，用户可以粘贴内容或上传文件，确保提供全面的上下文。
• 优点：这种方法使 Claude 的响应建立在可靠的最新文档基础之上。

Source – Link

Cursor

• 方法：Cursor 的 @Docs 功能允许用户添加 LLMs.txt 链接，无缝集成外部内容。
• 优点：增强 Cursor 的上下文意识，使其成为开发人员的强大工具。

Source – Link

生成LLMs.txt文件的工具

有几种工具可以简化 LLMs.txt 文件的创建，减少人工操作：

• Mintlify：为托管文档自动生成 /llms.txt 和 /llms-full.txt 文件，确保一致性。

也可参考：https://mintlify.com/docs/quickstart

• dotenv 的 llmstxt：将网站的 sitemap.xml 转换为符合要求的 LLMs.txt 文件，与现有工作流程无缝整合。
• Firecrawl 的 llmstxt：利用网络抓取技术将网站内容编译成 LLMs.txt 文件，最大限度地减少人工干预。

实际应用和多功能性

LLMs.txt 文件的多功能性从 FastHTML 等现实世界的项目中可见一斑，这些项目遵循了这两项关于人工智能友好型文档的建议：

• FastHTML文档：FastHTML项目不仅使用LLMs.txt文件提供其文档的精选概览，还提供了一个普通的HTML文档页面，其URL与.md扩展名相同。这种双重方法确保人类读者和 LLM 都能以最合适的格式访问内容。
• 自动扩展：FastHTML 项目选择使用基于 XML 的结构将其 LLMs.txt 文件自动扩展为两个标记符文件。这两个文件是
  • llms-ctx.txt： 包含上下文，但不包含可选的 URL。
  • llms-ctx-full.txt： 包含可选 URL，以提供更全面的上下文。
• 这些文件通过 llms_txt2ctx 命令行应用程序生成，FastHTML 文档提供了详细的使用指南。
• 在各种应用中的通用性：除了技术文档，LLMs.txt 文件在各种情况下都很有用–从帮助开发人员浏览软件文档，到帮助企业概述其结构、为利益相关者分解复杂的立法，甚至提供个人网站内容（如简历）。同样，使用 nbdev 的 Answer.AI 和 fast.ai 项目也使用此功能重新生成文档–fastcore 的文档模块的 markdown 版本就是例证。

LLMs.txt的Python模块和 CLI

对于希望将 LLMs.txt 集成到其工作流程中的开发人员，我们提供了专门的 Python 模块和 CLI，用于解析 LLMs.txt 文件并创建适合 Claude 等系统的 XML 上下文文档。该工具不仅可以轻松地将文档转换为 XML，还提供了命令行界面和 Python API。

安装

pip install llms-txt

如何使用？

CLI

安装后， llms_txt2ctx 可在终端中使用。

要获取 CLI 的帮助，请：

llms_txt2ctx -h

将 llms.txt 文件转换为 XML 上下文并保存为 llms.md：

llms_txt2ctx llms.txt > llms.md

通过 -optional True 添加输入文件的“可选”部分。

Python模块

from llms_txt import *
samp = Path('llms-sample.txt').read_text()

使用 parse_llms_file 创建一个包含 llms.txt 文件各部分的数据结构（如果需要，也可以添加 optional=True）：

parsed = parse_llms_file(samp)
list(parsed)
['title', 'summary', 'info', 'sections']
parsed.title,parsed.summary

实现与测试

为了说明解析 llms.txt 文件有多简单，下面是一个完整的解析器，只用了不到 20 行代码，没有任何依赖关系：

from pathlib import Path
import re,itertools
def chunked(it, chunk_sz):
    it = iter(it)
    return iter(lambda: list(itertools.islice(it, chunk_sz)), [])
def parse_llms_txt(txt):
    "Parse llms.txt file contents in `txt` to a `dict`"
    def _p(links):
        link_pat = '-\s*\[(?P