Robots.txt 在线生成工具 ✨ 标准合规版

一、站点基础配置
二、全局抓取规则（三选一，优先级最高）
三、自定义禁止的爬虫（勾选即禁止该爬虫抓取）
四、禁止抓取的目录（一行一个目录，末尾带/）
五、禁止抓取的文件后缀（一行一个后缀，无需带点）
六、自定义规则（选填，直接写robots原生语法）
📚 Robots.txt 站长必读（重要）

1、robots.txt 文件必须放在网站 根目录 下，文件名必须是：robots.txt (小写，无后缀)

2、生效规则：上传后搜索引擎爬虫会自动识别，一般1-24小时内生效，无需提交

3、核心语法：User-agent: 爬虫标识 | Allow: 允许抓取的路径 | Disallow: 禁止抓取的路径 | Sitemap: 站点地图地址

4、User-agent: * 代表 所有爬虫，优先级低于单独配置的爬虫规则

5、禁止全站：只需要写 User-agent: * + Disallow: / 即可

6、允许全站：只需要写 User-agent: * + Allow: / 即可

7、本工具生成的规则完全符合搜索引擎官方协议，百度/谷歌等均完美兼容