Cloudflareクローラー
Cloudflareは、あなたのサイトをクロールしたりHTTPリクエストを送信したりして、保護されており、適切に機能していることを確認する場合があります。
Cloudflareは、特定の製品が有効になっている場合にあなたのサイトをクロールします:
- Always Online
- User-Agent:
Mozilla/5.0 (compatible; CloudFlare-AlwaysOnline/1.0; +http://www.cloudflare.com/always-online)
- User-Agent:
- Health checks
- User-Agent:
Mozilla/5.0 (compatible; Cloudflare-Healthchecks/1.0; +https://www.cloudflare.com/; healthcheck-id: <HEALTHCHECK_ID>) HEALTHCHECK_IDは、ヘルスチェックIDに関連付けられた16文字の文字列です。
- User-Agent:
- Load balancing monitors
- User-Agent:
Mozilla/5.0 (compatible; Cloudflare-Traffic-Manager/1.0; +https://www.cloudflare.com/traffic-manager/; pool-id: <POOL_ID>) POOL_IDは、監視されているロードバランシングプールIDに関連付けられた16文字の文字列です。
- User-Agent:
- Prefetch URLs
- User-Agent:
Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)
- User-Agent:
- SSL/TLS recommender
- User-Agent:
Cloudflare-SSLDetector - このクローラーは、ユーザーエージェントを明示的にターゲットにするルールがない限り、あなたの
robots.txtファイルを無視します。
- User-Agent:
- Security Insights
- User-Agent:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 (compatible; +https://developers.cloudflare.com/security-center/)
- User-Agent:
Cloudflareは、他の特定の状況でもあなたのサイトをクロールします:
- Speed tests
- User-Agent:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 PTST/190628.140653 - Triggered when: あなたがCloudflareダッシュボードからスピードテストを開始したとき。
- User-Agent:
- Support diagnostics:
- User-Agent:
Cloudflare-diagnostics - Triggered when: Cloudflareサポートエンジニアがエラーチェックを行い、Cloudflareダッシュボードでインテリジェントアラートを上げるために使用される継続的な監視によって。
- User-Agent:
- Custom Hostname validation:
- User-Agent:
Cloudflare Custom Hostname Verification - Triggered when: あなたがHTTP所有権トークンを使用してカスタムホスト名を検証することを選択したとき。
- User-Agent: