クロールエラーのトラブルシューティング
Cloudflareは、検索エンジンのクローラーやボットを許可します。クロールの問題や、検索エンジンクローラーやボットに提示されるCloudflareのチャレンジを観察した場合は、Cloudflareサポートに連絡し、このガイドに記載された方法でクロールエラーのトラブルシューティングを行った際に収集した情報を提供してください。
Cloudflareを介してプロキシされた検索エンジンクローラーのリクエストは、オリジンサーバーにインストールされたアンチボットモジュールによってブロックされる可能性があります。これらのリクエストがオリジンによってブロックされないように、アンチボットモジュールを無効にしてみてください。
CDNパフォーマンスを最適化するために、GoogleとBingはCDNサービスを使用するウェブサイトに特別なクロールレートを割り当てます。特別なクロールレートは、検索エンジン最適化（SEO）や検索エンジン結果ページ（SERP）に悪影響を与えません。BingとGoogleのクロールレートを変更するには、以下のガイドに従ってください：
- Googleのドキュメントを確認してGoogleのクロールレートを変更 ↗します。
- Bingのドキュメントからのガイダンスを使用してBingのクロールレートを変更します：
クロールエラーを防ぐための推奨事項を以下に示します：
-
サードパーティツールを使用して、ウェブサイトのパフォーマンスと可用性を監視します：
-
Securityアプリ内のカスタムルールまたはIPアクセスルールを介してGoogleクローラーのIPアドレスをブロックしないでください。レート制限ルールを使用している場合は、それらがGoogleクローラーに適用されないことを確認してください。
Googleのgooglebot IPアドレスの確認 ↗に関するドキュメントを参照して、IPアドレスがGoogleに属していることを確認します。
- Securityアプリ内のカスタムルールまたはIPアクセスルールを介してアメリカ合衆国をブロックしないでください。
- .htaccess、サーバー設定、robots.txt ↗、またはウェブアプリケーション内でUser-Agentをブロックしないでください。
Googleは、ウェブサイトをクロールするためにさまざまなUser-Agent ↗を使用します。Googleを介してrobots.txtをテスト ↗できます。
- /cdn-cgi/ディレクトリ内のファイルのクロールを許可しないでください。このパスはCloudflareによって内部的に使用されており、Googleはクロール時にエラーに遭遇します。robots.txtを介してcdn-cgiのクロールを禁止します：
Disallow: /cdn-cgi/
- robots.txtファイルがAdSenseクローラーを許可していることを確認 ↗します。
- サーバーログで元の訪問者のIPアドレスを復元 ↗します。
最も一般的に報告されるクロールエラーのトラブルシューティング手順を以下に示します。
HTTP 4XXエラー ↗は、最も一般的なタイプのクロールエラーです。Cloudflareは、これらのエラーをウェブサーバーからGoogleに配信します。これらのエラーは、ウェブサーバー上のページが存在しない、またはHTML内のリンクが不正であるなど、さまざまな理由で発生します。解決策は、遭遇した問題に依存します。
HTTP 5XXエラー ↗は、Cloudflareまたはオリジンウェブサーバーが内部エラーを経験したことを示します。クロールエラーの発生とサイトの停止を関連付けるために、オリジンウェブサーバーの健康状態を監視します。Cloudflareを介して、またはオリジンサーバーのIPを直接監視することで、エラーがCloudflareまたはオリジンサーバーによって発生したかどうかを判断します。
トラブルシューティング手順は、ドメインがCloudflareにフルまたはCNAMEセットアップであるかどうかによって異なります。ドメインがどのセットアップを使用しているかを確認するには、ターミナルを開き、次のコマンドを実行します（*www.example.com ↗*をCloudflareドメインに置き換えます）：
dig +short SOA _www.example.com_
CNAMEセットアップのドメインの場合、結果の応答にはcdn.cloudflare.netが含まれます。例えば：
example.com.cdn.cloudflare.net.
フルセットアップのドメインの場合、結果の応答には、リストされたネームサーバーにcloudflare.comドメインが含まれます。例えば：
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
Cloudflareとのドメインのセットアップ方法を確認したら、ドメインセットアップに適したトラブルシューティング手順に進んでください。
CNAME
ホスティングプロバイダーに連絡してDNSエラーを調査し、GoogleがDNSエラーに遭遇した日付を提供します。さらに、Googleがエラーに遭遇した日付のCloudflareシステムステータス ↗ページを確認してください。
フル
Cloudflareサポートに連絡し、Googleがエラーを観察した日付と時刻を提供します。
上記のトラブルシューティング手順でクロールエラーが解決しない場合は、Googleウェブマスターツールダッシュボードからクロールエラーを.csvファイルとしてエクスポートする手順に従ってください。この.csvファイルをCloudflareサポートに連絡する際に含めてください。
- Googleウェブマスターツールアカウントにログインし、影響を受けたドメインのHealthセクションに移動します。
- 左側のナビゲーションでCrawl Errorsをクリックします。
- Downloadをクリックしてエラーのリストを.csvファイルとしてエクスポートします。
- ダウンロードした.csvファイルをCloudflareサポートに提供します。