robots.txt 规则测试

粘贴 robots.txt 内容，检查指定爬虫是否允许访问某个网址。

在当前设备处理

处理结果

等待处理

填写上方内容后，点击处理按钮

使用说明

依据当前规则文本测试，不读取网站配置。robots.txt 是抓取建议，不能用于保护私密页面。