规则与测试条件

规则生成器

最多 20 组、200 条路径规则。允许或禁止路径每行一条；多个爬虫标识以英文逗号分隔。

规则组 1

每行一个完整地址，最多 20 个；不参与允许 / 禁止规则匹配。

最多支持 512 KiB。可填写空文本以测试默认允许；未知扩展会单独提示。

填写英文字母、下划线或连字符组成的产品标识，不填写完整 User-Agent 字符串。

包含查询参数时一起填写；# 后的片段不参与匹配。

填写内容后，点击“测试抓取规则”。

结果

待操作

查看匹配的爬虫组、命中行号与允许 / 禁止结论。

robots.txt 生成与测试

生成或粘贴 robots.txt，按爬虫标识和路径测试允许、禁止结果，查看命中规则与行号，支持下载文件，方便核对网站的搜索引擎抓取规则。

查询规则与适用范围

请先核对输入、结果字段和限制说明，再将结论用于发布、排查或记录。不同工具的协议依据与适用边界见下方内容。

最长规则匹配示例

User-agent: *
Disallow: /admin/
Allow: /admin/help/

对于 ExampleBot，/admin/users 被禁止，而 /admin/help/start 命中更长的允许规则。若 Allow 与 Disallow 同等匹配，允许规则优先。

规则范围与限制

用户代理标识匹配不区分大小写；路径区分大小写。支持 * 通配和末尾 $，并按规则处理百分号编码。相同爬虫的多组规则合并，找不到具体匹配组才使用 * 组。

Sitemap 不改变允许 / 禁止结论，noindex 不是此协议的有效收录控制方式。测试仅解释输入文本，不证明真实爬虫已遵守，也不保护私人内容。

资料来源 Robots 协议 · RFC 9309

整理：喜爱工具箱 · 更新：

使用说明

三步完成操作

  1. 01 · 填写或生成规则

    粘贴 robots.txt，或展开规则生成器添加允许与禁止路径。

  2. 02 · 指定爬虫和路径

    填写具体产品标识，例如 ExampleBot，以及待测试的路径。

  3. 03 · 核对命中规则

    查看允许或禁止结论、命中组和行号，再保存规则文件。

常见问题

使用前先了解这些

Disallow 能保护私人内容吗？

不能。robots.txt 是抓取约定，不提供身份验证或访问控制，并且规则会公开暴露路径。

允许抓取就一定会收录吗？

不会。抓取、索引、搜索展示和 AI 引用是不同环节，这里只根据所填文本匹配路径。

空 robots.txt 的结果是什么？

空文件没有禁止规则，默认允许抓取。同等长度的匹配规则以 Allow 优先；具体匹配组存在时不再回退到通配组。