クローラーとは

クローラーは、インターネット上のウェブサイトや画像、テキストなどの情報を自動的に収集するプログラムです。Googlebotのように検索エンジンで使われることが多く、収集したデータはデータベース化され、検索結果として提供されます。

ドメイン評価の高いサイトほどクローラーの来訪頻度は高く、早いサイトでは記事投稿から数分で検索インデックスされます。

逆に評価の低いサイトや軽ペナルティを受けているサイトは、インデックスまで1週間以上かかります。

なお、このクローラーに指示を出すHTMLがいくつかありますが、WEB担当者はそのなかでも、ノーインデックス・ノーフォロー・カノニカルなどは理解しておきましょう。