検索エンジンの仕組み！クローラー・インデックス・アルゴリズムを理解しよう

どのようにしてWebサイトの検索結果の順位が決められているのか、その順位を決める役割を担っている検索エンジンの仕組みを理解できていますか？

SEOで有効な対策をしていくためには、まず検索エンジンの理解は欠かせません。

検索エンジンとは

検索エンジンとは、インターネット上に存在しているWebサイトを集めてランキング付けしているシステムのことで、検索エンジンによって決められた検索結果を僕たちは見ています。

検索エンジンには、「ロボット型」と「ディレクトリ型」の2種類がありますが、現在多くの人が利用しているGoogleやYahoo!はロボット型なので、この記事ではロボット型検索エンジンの仕組みについて説明したいと思います。

ロボット型検索エンジンの特徴

ロボット型検索エンジンはインターネット上の情報収集からランキングをつけて検索結果に表示するまで、ほとんどの処理は自動的に行われています。

手動でインターネット上に大量に存在するウェブサイトをチェックするのは不可能に近いので、後述するクローラーというロボットで効率よくWebサイトを見つけます。

ユーザーにとってもっと便利な内容が表示されるように考えたり、スパム行為に手動で対応したりする以外はほとんど自動化されているといってもいいと思います。

ロボット型検索エンジンの仕組み

Googleのようなロボット型検索エンジンが検索結果の順位を決めるまでには、クロール・インデックス・ランキングづけという3つの過程があります。

クロール（クローリング）・・・Webサイトを巡回して情報を取得
インデックス（索引）・・・データベースに登録
ランキング（順位づけ）・・・検索順位の決定

検索エンジンの簡単な仕組みは、まずクローラーと呼ばれるプログラム（ロボット）がインターネット上のリンクなどを辿ってWebサイトを巡回して、あらゆる情報を集めます。

クローラーが集めたWebサイトをデータベースに収納し、Googleが定める200以上の評価項目をもとに、検索順位を決定します。

クロール・インデックス・ランキング（順位づけ）について、もう少し詳しく説明していきます。

クロール（クローリング）

クロールとはクローラーがリンクを辿ってWebサイトを巡回して情報を集めること。

Webサイトをつくったら、まずはクローラーに見つけてもらうことが必要です。

クローラーを自サイトに呼び込む方法は、すでにクローラーが通っている他のサイトからリンクを張ってもらったり、XMLサイトマップを作成して検索エンジンに送信し、直接検索エンジンにURLを通知するなどの方法があります。

ただし、インターネット上には数兆ものWebページがあるので、リンクを張ったりサイトマップ送信をしても、すぐに優先的にクロールされるとは限りません。

良質なコンテンツをつくるのは大前提ですが、Webサイトを評価してもらうためにはクロールされる頻度を増やすことが大切です。

リンクが増えるとクローラーの巡回効率も上がりますし、SEO的にも被リンクが効果があると言われていわれているので、他のサイトからリンクを張ってもらえるような役立つ良いサイトを作ることを心がけましょう。

自作自演で被リンクを増やすといったSEO対策を行う人もいますが、最近は質の低いリンクはいくら増やしてもあまり効果が見られず、SEOスパムだと判断されて検索順位を落とされたり、インデックスから削除される可能性もあるので気をつけた方がいいと思います。

SEOスパムには他にも色々あって、『GoogleにSEOスパムとみなされる行為とペナルティについて』の記事でSEOスパムとみなされる種類について書いています。

また、サイトの更新頻度が高い方がクロールの頻度も高くなるので、なるべくWebサイトに新しいページを追加したりするのも大切ですし、内部リンクの構成を最適化することも必要です。

ちなみにクローラーは検索エンジンごとに一応名称があって、Googleは「GoogleBot」とかBingは「Bingbot」という風になっています。

クローラーはひとつではなく、インターネット上のWebサイトを効率よく巡回して情報を取得するために、膨大な数のクローラーが同時に巡回をしています。

たとえばGoogleでは、以下のような特定のコンテンツに特化したクローラーが巡回しています。

Googlebot-News（ニュース用）
Googlebot-Image（画像用）
Googlebot-Video（動画用）

ニュース用のクローラー、画像用のクローラー、動画用のクローラーという風に、いろんなクローラーが同時に巡回しているということです。

インデックス

インデックスには索引という意味があるのですが、ここでのインデックスはクローラーが集めたWebサイトの情報を検索エンジンのデータベースに格納することをいいます。

インデックスされているかどうか確認することも可能で、特定のページがインデックスされているかどうか確認するには、URLをダブルクォーテーションで囲み、サイト全体を確認するには、「site:」をURLの頭につけてます。

以前書いた『コンテンツマーケティングを成功させる5つのステップ』という記事がインデックスされているかどうか、URLにダブルクォーテーションマークで囲んで確認してみました。インデックスされています。

公開してすぐにはインデックスされるわけではないので、少し時間をおいてから確認するといいと思います。

また当サイトがインデックスされているかも確認してみました。725件というのは、このサイトのインデックスされているページの数です。

すべてのWebページはインデックスされないと意味がないので、インデックスされていなければ、検索結果には表示されません。

以前、急にサイトがインデックスされなくなったことがあって、少し焦った経験があります。

そのときは時間が経ってから確認したらちゃんとインデックスされていたので、Googleのシステムの不具合かと思いますが、ペナルティを受けてインデックスから削除されるということもあるので気をつけてください。

検索エンジンの仕組みを理解して適切なSEO対策をする

検索エンジンの仕組みを理解することは、Googleの目指している検索システムとしてのあり方を理解することであり、このことを知った上で対策を行う方が効果的なSEOができます。

上位表示させたいキーワードで検索結果上位に表示されるために、しっかりと良質なコンテンツをつくり、クロールやインデックスの最適化を図ることが最も理想的なSEOであると思います。

ブラックハットSEOと呼ばれる、ユーザーにとって役に立たない質の低いページを検索結果の上位にあげるために自作自演の外部リンクをひたすら増やしたりして行うSEO対策の方が結果が目に見えるのは早いかもしれないですけど、たとえ上位表示できたとしても、おそらく長続きしません。

全うなSEO対策は時間がかかるかもしれませんが、良いサイトというのは他のサイトからも検索エンジンからも評価されて上位表示されるようになるはずです。