Jamdesk Documentation logo

llms.txt

Jamdesk 为每个站点自动生成 llms.txt 和 llms-full.txt,供 AI 工具理解你的文档。

ChatGPT、Claude 或 Copilot 等 AI 工具只有在能结构化访问你的文档时,才能准确回答关于你产品的问题。仅靠训练数据是不够的。

每个 Jamdesk 站点都会按照 llmstxt.org 规范生成 llms.txt 和 llms-full.txt。AI 工具读取这些文件,而不是逐页抓取。

Google 现在将 llms.txt 纳入 Lighthouse 的智能体浏览检查。发布有效 llms.txt 的站点更容易被 AI 智能体发现。Google 在为 AI 生成的答案排序内容时也越来越多地使用它。Jamdesk 免费提供该文件。

检查你的得分。 免费的 AI Score 工具会评估任何文档站点对智能体的友好程度。有效的 llms.txt 是它首先检查的内容之一。AI Score Chrome 扩展会在你浏览时为站点评分。

Jamdesk 生成的内容

文件内容
llms.txt页面标题、描述和 URL(结构化目录)
llms-full.txt单个文件中的完整文档内容

Jamdesk 在构建时生成这些文件,并与你的文档从同一 CDN 提供服务。

验证你的文件

首次构建后,检查文件是否存在:

如果你的文档位于域名根路径(例如 docs.acme.com 或 acme.jamdesk.app):

curl https://docs.acme.com/llms.txt
curl https://docs.acme.com/llms-full.txt

文件格式

llms.txt 文件列出每个页面的标题、描述和 URL,并按与导航一致的分组排列:

# Your Project Documentation

> Documentation for Your Project

## Get Started

- [Getting Started](https://your-project.jamdesk.app/getting-started): Set up your first project in 5 minutes
- [Configuration](https://your-project.jamdesk.app/configuration): Configure your project settings

## API Reference

- [Authentication](https://your-project.jamdesk.app/authentication): How to authenticate API requests

llms-full.txt 文件包含每个页面完整的 Markdown 内容,页面之间以标题作为分界。

结构

llms.txt 遵循 llmstxt.org 提案:一个 H1 标题、一段引用块摘要,以及将导航标签页和分组作为 ## 小节、由 Markdown 链接组成的内容。

多语言站点

包含多种语言的站点会为每种语言生成一组独立文件。AI 工具只需获取所需语言。以英语(默认)和法语站点为例:

URL内容
/llms.txt英文索引,末尾附有指向其他语言索引的链接
/en/llms.txt与 /llms.txt 相同
/fr/llms.txt法文索引,并链接回其他语言
/llms-full.txt所有语言的完整内容,依次排列
/en/llms-full.txt仅英文页面的完整内容
/fr/llms-full.txt仅法文页面的完整内容

根目录的 llms-full.txt 保留所有语言。已读取它的工具不会受到影响。当智能体只需要某一种语言时,可将其指向该语言对应的文件:

curl https://jamdesk.com/docs/fr/llms-full.txt

某种语言至少有一个页面后,才会生成其专属文件。单语言站点只保留根目录文件。

受登录保护的站点

在密码保护或 JWT 认证之后的站点,llms.txt 和 llms-full.txt 会将访问者引导至登录页,.md URL 则返回 401。项目 API 密钥可以为无法登录的工具开放这三者。在 Project Settings > API Keys 中创建密钥,并以 Authorization: Bearer <key> 的形式发送:

curl https://docs.example.com/llms.txt \
  -H "Authorization: Bearer jd_live_..."

curl https://docs.example.com/using/scope.md \
  -H "Authorization: Bearer jd_live_..."

使用密钥时,.md URL 返回搜索中出现的页面。受分组限制的页面、隐藏页面以及设置了 search: false 的页面都会返回 404。对该站点无效的密钥会收到 401 JSON 错误,错误码为 invalid_api_key。不使用密钥时,行为保持不变。

密钥不会开放 HTML 页面或 AI 聊天功能,这些仍需登录。携带密钥的请求与 MCP 服务器共享每个密钥每分钟 120 次的限额。超出限额时,将返回 429 及 Retry-After: 60。

每个页面上的智能体指令

每个页面都带有一条对屏幕阅读器不可见的隐藏提示,指引 AI 智能体访问 llms.txt。每个 Markdown 导出内容都以一段引用块开头,链接到索引。落在你 HTML 页面上的智能体无需爬取即可找到 Markdown 路径。

构建方式

  • 在构建时与 HTML 一同生成
  • 通过 CDN 提供服务,缓存策略与文档相同
  • 每次构建时自动更新
  • 无需配置。默认包含每个页面

关闭 llms.txt

Jamdesk 默认发布 llms.txt 和 llms-full.txt。若要停止生成,例如防止 AI 工具抓取你的内容,可在 docs.json 中将 seo.ai.llmsTxt 设为 false:

docs.json
{
  "seo": {
    "ai": {
      "llmsTxt": false
    }
  }
}

下次构建时,Jamdesk 会跳过这些文件,包括每个语言的副本。实时的 /llms.txt 和 /llms-full.txt URL 将返回 404。

AI 抓取与搜索索引是两个独立的控制项。 seo.ai.llmsTxt 仅控制 AI 工具读取的 llms.txt/llms-full.txt 文件,不会改变搜索引擎对你站点的索引方式。robots 元数据和逐页 noindex 控制索引。页面可以被 Google 索引,同时被排除在 AI 抓取之外,反之亦然。

AI 爬虫

Jamdesk 默认的 robots.txt 允许所有主流 AI 爬虫(Claude、ChatGPT、Copilot、Gemini)访问。

sitemap.xml 列出供搜索引擎抓取和索引的 URL,不包含内容,只有链接和最后修改日期等元数据。

llms.txt 面向 AI 模型,包含页面标题、描述,以及(在 llms-full.txt 中)页面内容。AI 工具只需一次 HTTP 请求即可读取完整文件,而无需发出大量请求。

下一步

AI Score

查看你的文档对智能体的友好程度,每次构建都会评分

AI Chat

内置聊天助手,回答访问者的问题

MCP Server

让 AI 工具以交互方式搜索和查询你的文档

Markdown Source

获取单个页面的原始 Markdown