llms.txt
llms.txt
llms.txt 是一个向 AI 开发者工具公开网站内容的标准。Fern 实现了这个标准,自动生成和维护 llms.txt Markdown 文件,以便 AI 工具可以发现和索引您的文档。对于单个页面,代理还可以直接获取 Markdown。
llms.txt 是 Fern 为非人类消费者提供的根级文件,与 robots.txt 一起提供。robots.txt 决定哪些爬虫可以访问您的网站以及您广播什么 AI 训练信号;llms.txt 塑造 AI 代理一旦访问后会收到什么内容。

llms.txt 的内容
llms.txt 包含您的文档站点的轻量级摘要,每个页面都被提炼成一句话描述和 URL。对于包含 API 端点的站点,它还链接到您的 OpenAPI 规范作为独立的、机器可读的文件,以便 AI 工具可以直接解析您的完整 API 模式。对于包含 WebSocket 通道的站点,它还链接到您的 AsyncAPI 规范。
llms.txt 在您的文档层次结构的任何级别都可用(/llms.txt、/docs/llms.txt、/docs/ai-features/llms.txt 等)。
Fern 不生成 llms-full.txt。全站拼接超出了大多数模型的上下文窗口,增加了大量服务开销,且与 llms.txt 结合逐页 Markdown 访问 相比使用率很低。使用 llms.txt 发现页面并单独获取。
页面描述
llms.txt 包含从前置内容中提取的页面描述。Fern 使用 description 字段(如果存在),否则回退到 subtitle。
前置内容
输出格式取决于您请求的是单个页面还是一个部分:
单个页面
部分
.../page/llms.txt