Googleのクロールとindexについて
グーグルは、「Googlebot」と呼ばれるウェブクローラを使用して、
ウェブ上のページを取得していきます。この情報を取得していくことを「クロール」と呼んでいます。
リンク上を辿ってウェブページの情報を取得していくのですが、そこで取得された情報は
グーグルのサーバー上に保存されていきます。
ページがクロールされる頻度は、コンピュータプログラムによって自動的に決まります。
一般的には、更新頻度が高いサイトはクロールされる頻度が高いといわれています。
Googlebotがサイトをクロールする度に、新サイトの情報、既存サイトの変更された箇所、
無効なリンクを中心に確認していきます。
クロールされたウェブページは、グーグルのインデックス（index）に登録されます。
インデックスに登録されることによって、検索対象として扱われるようになります。
検索が行われると、100,000,000ギガバイトを超えるインデックスの中からアルゴリズムに従って
検索されたキーワードに適切なページを検索結果として表示します。
作成したページもグーグルにインデックスされなければ、検索結果に反映されることはありません。
新規ページを作成したら、グーグルのウェブマスターツールを利用して新規ページのURLを含んだサイトマップを送信しましょう。これを行うことで、新規ページがインデックスされやすくなります。
また、検索結果に反映させたくないページがある場合には、そのページをインデックスさせない方法があります。「robots.txt」に、該当ページをインデックスさせない旨の記述を追記することで、
インデックスを回避することができます。
