🤖Robots.txt验证器
输入您的 robots.txt 内容和待测试的 URL，工具将模拟搜索引擎爬虫（User‑agent）解析规则，快速判断该 URL 是否被允许抓取，帮助排查爬虫屏蔽问题。
⏳ 等待操作…
📊 验证结果
请粘贴 robots.txt 内容并输入 URL，然后点击「验证」
💡 使用说明
- 在「robots.txt 内容」框中粘贴您网站的 robots.txt 文件内容（可包含多个 User‑agent 组）。
- 在「待测试 URL」中输入需要检查的完整网址（需包含协议头）。
- 选择要模拟的 User‑agent（爬虫标识），或自定义。
- 点击「验证」按钮或开启「自动验证」即可查看结果。
- 结果会显示 允许、禁止 或 不确定，并给出匹配到的具体规则。
- 结果可 一键复制 为文本格式，方便记录或分享。
- 所有处理均在浏览器本地完成，不会上传任何数据，保护你的隐私。
💡
提示： 验证逻辑遵循 robots.txt 协议，支持 Allow 和 Disallow 指令，并按最长匹配优先原则（与主流搜索引擎一致）。注意：通配符（* 和 $）尚未支持，本工具仅做基础路径匹配。