Robots.txt 验证工具
粘贴 robots.txt 内容，解析规则、语法高亮、模拟 URL 可访问性测试
Robots.txt 验证工具使用说明
主要功能
- 规则解析 — 识别 Allow/Disallow/Sitemap/Crawl-delay
- 语法高亮 — 彩色显示不同指令类型
- URL 测试 — 模拟爬虫判断 URL 是否被允许
- 错误检测 — 发现常见语法问题
常见指令
- User-agent — 指定爬虫名称（* 为所有）
- Allow — 允许访问的路径
- Disallow — 禁止访问的路径
- Sitemap — Sitemap 文件位置
- Crawl-delay — 爬取间隔（秒）