クローラー巡回速度が98倍サイトマップ作成で抑えておく６つのこと

By

公開日: 更新日:

クローラー巡回速度が98倍サイトマップ作成で抑えておく６つのこと
Image courtesy of renjith krishnan / FreeDigitalPhotos.net

Googleのようなロボット型検索エンジンは、クローラー（Crawler）やスパイダー（Spider）と呼ばれるロボットにWebサイトを巡回してもらわなければ、登録されることも検索結果にページが掲載されることもありません。

検索結果にいち早くインデックスされるために、特に出来立てのWebサイトはサイトマップを作ることを勧めます。

サイトマップとは、何なのか？

Image courtesy of David Castillo Dominici / FreeDigitalPhotos.net
Image courtesy of David Castillo Dominici / FreeDigitalPhotos.net

簡単に言えば、サイトURLのまとめです。大手企業のサイトマップと書かれたリンクを一度は見たことあるのではないでしょうか。例えば、docomoのサイトマップにはサイトのリンク構造が、わかるように記載され、これがあることによってどの位置にどのコンテンツがあるか非常にわかりやすくなります。それによってユーザリビティ向上に繋がります。

しかし、今回はこのサイトマップのことを指しません。サイトマップは主に、2種類あり、ユーザー向けのサイトマップと検索エンジンのクローラー向けのサイトマップです。よく目にするWebサイトのサイトマップは、ユーザーに配慮して作られたもので、クローラー向けのサイトマップは別です。

クローラー向けのサイトマップもURLをまとめたものということは、変わりありませんが、こちらの場合は基本的にXML形式で作成しなければなりません。（他にRSS形式、TXT形式があります）

驚きのサイトマップの効力

サイトマップは検索エンジンのクローラーに、ここにWebページがありますよっと知らせ、リンクを辿らせるために作成します。それによって、検索エンジンに表示させるインデックスを早めることに繋がります。

過去にサイトマップを作成しても、インデックスにはあまり影響をあたえないという情報がありましたが、SEOmozのchenry氏が行った実験によると、XMLサイトマップを送信した方が、クローラーの巡回する時間が大幅に短縮されたと結論づけています。

no_sitemap

yes_sitemap
Data from http://moz.com/
サイトマップ送信した方 サイトマップ送信しない方
Google 平均14分 平均1,375分
Yahoo! 平均245分 平均1,773分

上図の結果から、サイトマップを送信した方が検索エンジンのクローラーが巡回する速さがGoogleの場合約98倍、Yahoo!の場合7倍ほど違うのがわかるでしょう。

また、サイトマップから除外することで、クローラーが訪れるのを妨げることができます。例えば、ブログなどのカテゴリーページには、ユニークコンテンツがないという問題点があります。複製コンテンツはSEOにプラスの影響を与えません。そのような場合にはサイトマップから外しておくといいでしょう。

ただし、サイトマップに記述がないからといってクローラーが全く巡回しないというわけではありません。検索エンジンにインデックスさせたくないページ、前述したカテゴリーページやアーカイブ、タグページなどGoogleに複製コンテンツと評価される恐れのあるページは、head内にMeta robots noindexタグ記述しておきましょう。

<meta name="robots" content="noindex,follow" />

WordPressユーザーならAll in One SEO Packプラグインを使うことで簡単に設定できます。あまりプラグインを使いたくない場合は、functions.phpへ下記コードを記述するのが簡単です。

function no_index() {
    if( is_archive() || is_tag() || is_search() || is_404() ) {
        echo '&lt;meta name=&quot;robots&quot; content=&quot;noindex,follow&quot; /&gt;';
    }
}
add_action('wp_head','no_index');

XMLサイトマップのメリットと注意点

sitemap
Image courtesy of renjith krishnan / FreeDigitalPhotos.net

前述した通りサイトマップの作成のメリットはインデックスを早めるための手助けです。しかし、サイトマップを送信することでしかインデックスを促進することができないページが多いサイトは、サイト内部のリンク構造に問題があると考えられます。

今一度見なおし、サイトマップに頼らなずともクローラーに巡回してもらえる内部リンク構造を構成することが重要です。

クローラーとインデックスの関係

クローラーがページを全て巡回したからといって全ページをインデックスするわけではありません。Googleも、サイトマップを送信することが確実なインデックスを補償するわけではないとは明言しています。インデックスされないのはどうしてかコンテンツを見なおし、修正を加えてみるなど対策をとってみてください。

SEOへの効果、与える影響

Image courtesy of Stuart Miles / FreeDigitalPhotos.netStuart Miles
Image courtesy of Stuart Miles / FreeDigitalPhotos.netStuart Miles

上記のような点から、SEOの第一の施策としてかなり有効だと考えられます。まず、クローラーに巡回され検索エンジンに登録されなければ、アクセスアップは見込めません。インデックスされる速度が高まれば、それはアクセスアップに繋がります。

また、Googleウェブマスターツールにサイトマップを登録し、データを見ればインデックスされないのはなぜかなど対策を練ることができるので、間接的にもSEOに効果があると私は考えます。

たった５分でサイトマップ作成する方法

WordPressユーザーの方は「Google XML Sitemaps」プラグインを使うことで、非常に簡単にXML形式のサイトマップを作ることができます。一度作ってしまえば、WordPressを更新する度に自動でサイトマップを更新してくれます。

WordPressユーザーでない場合はオンラインのサイトマップ自動生成ツール「sitemap.xml Editor」を使って、簡単に作ることができます。
（海外サイトでは、xml-sitemaps.comもあります。使い方はほとんど同じです。）

Google XML Sitemapsプラグインの使い方は、WP SEOブログの記事が丁寧でわかりやすいので参考にしてみてください。sitemap.xml Editorの使い方は後述します。

  • Google XML Sitemaps – sitemap.xmlの自動生成 | WP SEOブログ

sitemap.xml Editorの使い方

sitemap.xml Editorにアクセスして、サイトのURLを記入してください。

サイトマップを作成-自動生成ツール

サイトマップができたらダウンロードしてあなたのサーバーのrootディレクトリにアップロードしましょう。

まとめ

  • サイトマップは、ユーザビリティを向上目的とクローラー巡回目的の2種類ある。
  • XMLサイトマップによってクローラーの巡回を促進する
  • SEOに不利なページには、Meta robots noindexタグを記述
  • インデックスされない場合内部リンク構造を見直す
  • SEOに効果あり

簡単にサイトマップを作成する方法

  • Google XML Sitemapsプラグイン
  • sitemap.xml Editor

最後に

これからブログを始めるブロガーさんやアフィリエイターさん、Webサイトを初めて公開する方など、はじめのSEO対策としてサイトマップを作ってみてはいかがしょうか？サイトマップに対して、SEO効果がないという意見もありますが、私はあると思います。

作成してメリットはあってもデメリットはないので作っておいって損することはないと思います。今回の記事が役にたてば幸いです。

関連記事