robots.txt 生成器
免费 robots.txt 生成器——几秒生成包含 Allow、Disallow、Sitemap 与 Crawl-delay 的规范文件。
规则设置
robots.txt 输出
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
使用方法
- 选择预设：全部放行、全部屏蔽、WordPress 站或屏蔽 AI 爬虫。
- 微调 User-agent 分组、Disallow 与 Allow 路径，并填入站点地图地址。
- 一键复制或下载生成的 robots.txt 文件。
功能特点
- WordPress、全部放行、全部屏蔽、屏蔽 AI 爬虫四种预设
- 无限 User-agent 分组，支持 Allow 与 Disallow 规则
- 支持 Sitemap 与 Crawl-delay 指令
- 一键复制与下载，边输入边预览
常见问题
什么是 robots.txt？
robots.txt 是放在网站根目录的纯文本文件，告知爬虫哪些路径可以或不可以抓取。
生成的文件放在哪里？
上传到域名根目录，确保可通过 https://你的域名/robots.txt 访问。
robots.txt 能让页面从谷歌消失吗？
不能。robots.txt 控制抓取而非索引。如需从搜索结果移除页面，请使用 noindex 标签或 Search Console 移除工具。
要屏蔽 AI 爬虫吗？
取决于你的目标：屏蔽 GPTBot、CCBot 等可阻止 AI 训练抓取，但内容也会从 AI 回答中消失。可用预设后按需调整。