sitemap.xml（サイトマップ）と robots.txt（ロボッツテキスト）について
sitemap.xml（サイトマップ）は、サイト内の各ページを効率よくクロールされるために設置するものです。
新しいサイトやリンクが少ないサイトなどは、クローラからクロールされにくいといえます。
そのため、sitemap.xmlを設置して、クロールを促す必要があるのです。
作成したsitemap.xmlは、グーグルのウェブマスターツールを利用して送信します。
グーグルでは、全てのURLをクロールし、インデックスに登録することを保証していませんが、
sitemap.xmlを設置することでクロールされやすくなります。
クロールされることが検索結果の上位表示に直結するわけではありませんが、
sitemap.xmlの設置によってクロールが効率的になれば、上位表示を目指す上で好ましい状況だといえます。
robots.txt（ロボッツテキスト）は、検索エンジンに対して命令を出すことができます。
クローラの制御とsitemap.xmlの場所を通知するのが主な役目になります。
クロールされたくないページがあれば、robots.txtに該当ページを記述することによって制御できます。
会員専用ページなどに使用することができるでしょう。
また、サイトマップを設置したらウェブマスターツールの送信に加えて、robots.txtに
sitemap.xmlの場所を記述しておきましょう。
検索エンジンは、まずrobots.txtの存在の有無を確認します。
そして、robots.txtがあれば、それを参考にしてサイト内をクロールします。
ですから、robots.txtにsitemap.xmlの場所を記述することは、サイト内をスムーズに
クロールさせることにつながります。
