The Crawler Zoo
今サイトを訪れているボットやクローラーをリアルタイムで眺め、GPTBotやGooglebotの正体とブロック方法も学べます。
Platforms
Web
Pricing Free
The Crawler Zooは、自分のサイトを訪れるクローラーやボットを動物園に見立てて、リアルタイムで見せるダッシュボードです。入口のゲートカウントが今日の自動アクセスの数を示し、robots.txtへの態度で、守るもの、読んだうえで破ったもの、読まずに破ったものに分けられます。新しく来たボットも順に流れてきます。
ボットは「検索エンジンのサバンナ」「AIの鳥舎」「SEOの沼」「リンクプレビューのふれあい広場」といった展示エリアに分かれ、Googlebot、GPTBot、ClaudeBotなどが並びます。ランキングのほか、禁止パスに入り込んだボットを記録する「トラップルーム」があり、終わりのない迷路をたどるボットを追いかけることもできます。Toolsにはrobots.txtジェネレーターとAIクローラーをブロックするページがあり、訪問者の解説ガイドもあります。
無料で見られ、アカウントは不要です。画面は英語で、運営は匿名の「飼育員」たちです。