Dokki 为每个已发布的站点提供明确的控制，以决定搜索引擎和 AI 爬虫是否应发现它。
已列出的站点
当站点被列出时，Dokki 提供对爬虫友好的公开页面，并在已发布的资源之间使用正常链接。该站点可以暴露 sitemap.xml 和 llms.txt，以便爬虫发现公开树结构。
未列出的站点
当站点未列出时，页面仍可通过直接链接访问，但会被标记为 noindex 和 nofollow。Dokki 还会阻止对该站点路径的 robots.txt 访问，并且不返回该站点的 sitemap.xml 或 llms.txt。
将未列出用于草稿、内部预览、客户特定文档，或任何您希望通过链接分享但不想被索引的内容。
站点地图
sitemap.xml 包含已发布站点的首页和已发布的资源。在编辑已发布的资源后提交更改，以便冻结的内容和时间戳反映您希望被爬取的公开版本。
llms.txt
llms.txt 为 AI 爬虫和助手总结已发布的站点。当站点被列出时，它包含站点名称、摘要和公开页面列表。
自定义域名和子路径
自定义域名和子目录代理应保持公开链接、规范 URL、robots.txt、sitemap.xml 和页面路由一致。如果更改域名路由，请直接验证实时公开 URL。