🤖Robots.txt验证器

输入您的 robots.txt 内容和待测试的 URL，工具将模拟搜索引擎爬虫（User‑agent）解析规则，快速判断该 URL 是否被允许抓取，帮助排查爬虫屏蔽问题。

URL工具
分类首页 | 在线Query | 在线Robots.txt验证器 | 在线Slug生成器 | 在线URL参数编辑器 | 在线URL安全检测工具 | 在线URL格式化工具 | 在线URL正则提取器 | 在线URL编码解码工具 | 在线URL跳转链追踪工具 | 在线短链接生成器 | 在线站点地图生成器 | 在线链接有效性检查工具 | 在线链接解析器
⏳ 等待操作…
📊 验证结果
请粘贴 robots.txt 内容并输入 URL，然后点击「验证」

💡 使用说明

  • 在「robots.txt 内容」框中粘贴您网站的 robots.txt 文件内容（可包含多个 User‑agent 组）。
  • 在「待测试 URL」中输入需要检查的完整网址（需包含协议头）。
  • 选择要模拟的 User‑agent（爬虫标识），或自定义。
  • 点击「验证」按钮或开启「自动验证」即可查看结果。
  • 结果会显示 允许、禁止 或 不确定，并给出匹配到的具体规则。
  • 结果可 一键复制 为文本格式，方便记录或分享。
  • 所有处理均在浏览器本地完成，不会上传任何数据，保护你的隐私。
💡 提示： 验证逻辑遵循 robots.txt 协议，支持 Allow 和 Disallow 指令，并按最长匹配优先原则（与主流搜索引擎一致）。注意：通配符（* 和 $）尚未支持，本工具仅做基础路径匹配。