SEO対策 用語説明

クローラ

クローラは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。WUAの一種。「スパイダー」や「ロボット」などとも呼ばれる。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラを利用して、迷惑メールの送信効率を上げている。

一般にクローラは、既知のHTML文書の新しいコピーを要求し、文書中に含まれるリンクをたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

クローラによっては、一つのWebサイト/サーバに対して短い間隔で大量のリクエストを行いサーバに過度の負荷をかけるものや、 robots.txtやHTMLのMETAエンティティによるロボットに対しての制御を無視したり、無視せずも読み込む頻度が低いもの、さらにはWebサイト側が強制的に特定のクローラを排除する際に用いられるHTTPのUser-Agentフィールドの内容を次々に変えるなどする「行儀の悪い」クローラがあり問題となる場合がある。

検索エンジンのクローラにWEBサイトをインデックスしてもらうのがSEO対策の第一歩になります。

SEO対策 大阪のNETTEN

SEO対策 ネットテンの連絡先
  • ネットテン大阪営業部
  • 〒558-0013
  • 大阪府大阪市住吉区我孫子東3丁目1番13号
  • アソルティ我孫子(旧住友生命ビル)4F
  • TEL:06-6609-1100
  • FAX:06-6609-7200