検証済みボットポリシー
Cloudflareに検証済みボットとしてリストされるためには、あなたのボットが以下の要件を満たす必要があります。お客様に最善の保護を提供するために、このポリシーは将来的に新しいボットの動作に適応する形で変更される可能性があります。
ボットまたはプロキシは、Cloudflareがサンプリングデータ内でそれを見つけるために、最低限のトラフィックを持っている必要があります。最低トラフィックは、複数のドメインで1日あたり1000件以上のリクエストを持つべきです。
サービスは、広範なゾーンの使用を目的とする必要があります。
1つのサイトをクロールするボットは無効です。
以下の要件を満たすユーザーエージェント：
- 5文字以上であること。
- 特殊文字を含まないこと。
- 他の検証済みサービスの同じユーザーエージェントを含まないこと。
GoogleBot/1.0は有効なUAです。
ドメインは、ゾーンの所有者の明示的または暗黙的な同意または利用規約に基づいてのみクロールされるべきです。検索エンジンのクローラーは、所有者からクロールを除外するパスを読み取るためにrobots.txtを確認する必要があります。
異なるウェブサイトから在庫をスカルプするツールは利用規約に違反する可能性がありますが、robots.txtに従ってウェブサイトをインデックスする検索エンジンボットは有効なサービスです。
サービスの目的は、ゾーンの所有者とサービスのユーザーの両方にとって有益または役立つものであるべきです。サービスは以下のいずれかを実行することはできません：
- ボットツール
- スカルパー
- 認証情報の詰め込み
- ディレクトリトラバーサルスキャン
- 過剰なデータスクレイピング
- DDoSボットネット
直接のeコマース競合からの価格スクレイピングは有効な使用例ではありません。
全体のウェブサイトをクロールする場合、クロールエチケットはrobots.txtを確認し、敏感なパスをクロールしようとしないべきです。
検索エンジンクローラーがrobots.txtをスキップすると、拒否されます。
ボットは、期待される動作またはユーザーエージェント形式が公開されている必要があります。
検証済みサービスのために設定されたIP範囲を収集するための検証方法と要件のセット。
- 公開アクセス可能なプレーンテキスト、
JSON、またはCSVを介して検証できる固定された限られたIPアドレスのセット。 - ボット所有者によってのみ使用されるIPアドレス。
- ユーザーエージェントの一致パターン。
- DNSレコードを検証するためのドメインサフィックスのリスト。
- IPアドレスはPTRレコードが正しく設定されている必要があります。
- ユーザーエージェントの一致パターン。
- ボット所有者に属する有効な
ASN。 - ユーザーエージェントの一致パターン。
検証の要件が違反された場合、サービスはグローバルな許可リストから削除されます。
- 検証済みサービスによってのみ使用されないIPのセットを追加すること。
- サービスのIPが攻撃者によって侵害されること。
- サービスにパッチが適用されていない脆弱性があること。
- オンボーディングに関する説明がないIPのブロックがリストに追加されること。
- サービスの公開された目的がトラフィックに反映されないこと。
robots.txtのクロール遅延指示を尊重しないAIクローラー。
Cloudflareが現在追跡していない ↗検証済みボットを提出するには、Cloudflareダッシュボードでオンライン申請 ↗を記入してください。ボットオペレーターは、無料のCloudflareアカウントを作成したくない場合、古いフォーム ↗を使用することもできますが、検証済みボットのリクエストが評価されるまでの待機時間は数週間に及ぶことがあります。
Cloudflareがボットを検証済みボットとしてリストすると、このエントリはキャッシュされ、定義された期間内にボットからCloudflareネットワークにトラフィックが見られない場合、リストから削除される可能性があります。
非アクティブなIPが検証済みボットとして削除されるまでには24時間かかります。
ボットは、Cloudflareがボットからのトラフィックを確認するまでリストされないことがあります。ボットが再検証されると、再び検証済みボットとしてリストされます。