Dokki为每个已发布的站点提供明确的控制，决定搜索引擎和AI爬虫是否应发现它。发现行为通过已列出/未列出设置在站点级别进行控制。
视觉指南
已列出的站点
当站点被列出时，Dokki会提供对爬虫友好的公共页面，并在已发布的资源之间使用正常链接。已发布的页面包含从冻结资源、工作区/站点上下文和资源标签构建的元数据。
文档页面包括：
规范URL；
Open Graph和Twitter元数据；
文章或网页JSON-LD；
面包屑JSON-LD；
标签关键词（如果存在标签）；
当启用多种发布语言时，hreflang替代项。
未列出的站点
当站点未列出时，页面仍可通过直接链接访问，但会被标记为noindex和nofollow。Dokki还会返回阻止爬虫或空的发现表面：
robots.txt返回Disallow: /；sitemap.xml返回404；llms.txt返回404。
将未列出用于草稿、内部预览、客户特定文档，或任何您希望通过链接分享但不想被索引的内容。
站点地图
sitemap.xml包含已发布站点的首页和每个已提交的已发布资源。它使用活动的公共基础URL：默认/pub/<slug>、自定义域名或子目录代理基础。
对于每个页面，站点地图在可用时使用frozen_at，否则回退到已发布行或站点时间戳。编辑已发布资源后提交更改，以便公共快照和站点地图时间戳与您希望爬取的版本匹配。
robots.txt
对于已列出的站点，robots.txt允许爬取并指向站点的站点地图URL。对于未列出的站点，它禁止所有爬取。该路由与站点使用相同的公共基础，包括自定义域名和子目录代理。
llms.txt
llms.txt为AI爬虫和助手总结已发布的站点。它包括：
站点名称；
来自首页描述的简短摘要，或生成的备用内容；
已提交公共页面的分层Markdown地图。
文件夹标签保留了信息架构，但只有已发布的资源会获得链接并计为可读页面。
自定义域名和子路径
自定义域名和子目录代理应保持公共链接、规范URL、robots.txt、sitemap.xml和页面路由一致。如果更改域名路由，请直接验证实时公共URL，并从同一主机和路径检查发现文件。