ボットトラフィックとは？ 良いボット／悪いボットを見極めよう
ボットとは、インターネット上でタスクを実行するために作られたソフトウェアアプリケーションのことです。 反復的でシン...
- クローラー
- テクノロジー
- 翻訳転載
クローラーとは【意味/読み/英語表記】（くろーらー、Crawler）
クローラーの概要
クローラーとは、検索エンジンがインターネット上のWebサイトや画像情報を収集し、検索データベースに保存するプログラムです。
クローラーの詳細
Googleなど主な検索エンジンでは、クローラーがインターネット上の以下のような情報を認識し、収集しています。
- テキストファイル
- CSSファイル
- Javascriptファイル
- 画像
これらの情報はデータベース化され、ランク付けされます。検索結果ではこのランク順にWebサイトの情報が表示されています。この情報を収集し、データベースに登録されることをインデックスと言います。
SEOにおいては、クローラーに巡回され、インデックスされなければ検索結果に表示されません。そのため、クローラーに巡回依頼をしたり、リンクをたどってクローラーがたどり着けるようにXMLサイトマップを送信したりしてクローラーの巡回を促します。まずは、検索エンジンの提供するツールで、自社サイトがインデックス登録されているかを確認するとよいでしょう。
一方で検索結果に反映されたくない場合にはサイトをnoindex設定することによって、検索エンジンにインデックスされないように設定できます。
クローラーの関連語
インデックス
