AI 爬虫检测
免费 AI 爬虫检测双模式——输入域名实测 GPTBot、ClaudeBot 等 12 种 AI 爬虫能否抓取你的站点；输入 IP 反向验证自称 AI 爬虫的访问者是否为官方真身。
示例：
双模式：输入域名——读取 robots.txt 并用 12 种真实 AI 爬虫 UA 实测抓取你的首页；输入 IP——对官方爬虫域名做「反查 + 正查」双重 DNS 验证，识别冒充者。
输入域名或 IP 后点击「开始检测」——抓取实测表或真伪判定将显示在这里。
使用方法
- 站点检测：输入域名——读取 robots.txt 并用 12 种真实 AI 爬虫 UA 实测抓取首页。
- 真伪验证：粘贴 IP——对官方爬虫域名做「反查 + 正查」双重 DNS 验证。
- 查看放行状态表或真伪判定结果——修复拦截或封禁冒充者。
功能特点
- 实测 12 种 AI 爬虫：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot、Bytespider、Applebot-Extended、meta-externalagent、Amazonbot、cohere-ai
- 逐爬虫实测：放行 / 拦截（403/429/503）/ 不可达
- 解析 robots.txt 对每个爬虫的屏蔽规则
- IP 验证器：反向 DNS + 正向 DNS 双重核验，识别冒充者
- 无需 AI 接口，完全基于服务器 DNS 与 HTTP 实测
常见问题
日志里出现的爬虫为什么实测抓取失败？
日志只能看到 UA（可伪造），而实测是从本服务器以真实爬虫 UA 发起请求；Cloudflare 或 WAF 可能按 IP 信誉拦截——本工具能精确定位访问在哪里被切断。
哪些爬虫支持官方 IP 验证？
OpenAI（openai.com）、Anthropic（anthropic.com）、Perplexity（perplexity.ai）、Google（googlebot.com / google.com）、Common Crawl（commoncrawl.org）、Apple（applebot.apple.com）与 Amazon（amazonbot.amazon.com）均公开反向 DNS 后缀；其余仅按 UA 声明核对。
实测显示被拦截怎么办？
逐层排查：robots.txt 规则、WAF / CDN 规则（如 Cloudflare 机器人防护）、服务器端 UA 封禁。放行你希望引用内容的 AI 爬虫。
伪造爬虫能通过验证吗？
完整验证需同时满足：反向 DNS 命中官方后缀 + 正向解析回同一 IP。仅模仿 UA 但 DNS 记录不匹配的请求会被标记为伪造。