クローラーヒント

クローラーヒントは、関連性の高いクロールの割合を増やし、新しいコンテンツを見つけられないクロールを制限することで、繰り返しのクロールの必要性を減らすことを目的としています。

背景

検索エンジンや類似のサービスは、ユーザーのクエリに最も関連するコンテンツを特定するために、インターネットをクロールするボットの大規模なネットワークを運営しています。しかし、ウェブ上のコンテンツは常に変化しており、検索エンジンクローラーは、コンテンツの更新を確認するためにどのくらいの頻度でサイトをチェックすべきかを推測しながら、インターネットを継続的にさまよわなければなりません。

クローラーヒントを使用することで、Cloudflareはクローラーにインデックスを作成するのに最適な時間やコンテンツが変更されたときについて積極的に通知できます。さらに、クローラーヒントはIndexNow ↗をサポートしており、ウェブサイトがコンテンツを作成、更新、または削除したときに検索エンジンに通知できるようにします。クローラーヒントは、キャッシュステータスMISSを使用してコンテンツが更新された可能性があると判断し、それをIndexNowのクローラーに送信します。アセットの応答にHTTPステータスコードが4xxより大きい場合、クローラーヒントはそれをIndexNow ↗に報告しません。

利点

ウェブサイトの所有者にとって、クローラーヒントは検索エンジンや他のボット駆動の体験が最新のコンテンツバージョンを持つことを保証し、ユーザーの満足度を高め、最終的には検索ランキングに影響を与えます。

クローラーヒントは、オリジンサーバーへのトラフィックを減少させ、リソースの消費、サイトのパフォーマンス、環境への影響を改善します。

利用可能性

	Free	Pro	Business	Enterprise
Availability	Yes	Yes	Yes	Yes

クローラーヒントを有効にする

1. Cloudflareダッシュボード ↗にログインし、ドメインを選択します。
2. キャッシング > 設定に移動します。
3. クローラーヒントを有効にします。

クローラーヒントを有効にすると、Cloudflareは検索エンジンに対して、特定のウェブサイトの部分をクロールすべき時期についてのヒントを送信し始めます。

特定のページのインデックス作成を防ぐ

有効にすると、クローラーヒントはウェブサイト全体に対するグローバル設定になります。特定のページのインデックス作成を停止するには、次のいずれかの方法を使用できます。

• インデックス作成を行うべきでないページに対して、オリジンサーバーがX-Robots-Tag: noindexヘッダーを送信する。
• インデックス作成を行うべきでないページのHTMLに<meta name="robots" content="noindex, nofollow" />を含める。
• Cloudflareでレスポンスヘッダー変換ルールを作成し、オリジンサーバーから行う代わりにX-Robots-Tag: noindexヘッダーを追加する。