2008年4月16日水曜日

robots.txtとBlogger

Googleのウェブマスターツールズでサマリーを確認した所、ラベルの一部がrobots.txtによって制限されている事が判明。
Bloggerの場合robots.txtは自動生成されるので、手の打ち様がない。

記事作成時点でこのブログでは

  • SEO

  • ジャズ

  • ジャズミュージシャン

  • 大学

  • 日々


と5つのラベルに分けているが、"ジャズミュージシャン"以外のラベル全てがrobots.txtによって制限されている状態だ。
#この時点でラベル"ジャズミュージシャン"には2件の投稿がある.

もうちょっと書き貯めたら自動生成されるrobots.txtのルールが解るんだろうか。
制限されているラベルと、そうでないラベルがある以上、何らかの判定基準が有る筈なんだけど。
Googleで調べても其処まで教えてくれる人は居ないみたいだね。

2 件のコメント:

Kuribo さんのコメント...

はじめまして、クリボウといいます。

robots.txt には

User-agent: *
Disallow: /search

と書かれているので、検索結果(ラベルも含む)のページは全て Google にインデックスされません。
「ジャズミュージシャン」ラベルのページも、いずれ制限された URL として表示されると思います。

去年書いたものですが…、こちらもどうぞ。

k さんのコメント...

クリボウ様>
返信が遅くなってすいません。
何せまさか、自分のブログにコメントが掲載されるとは思ってもいませんでしたので把握するまでに時間が...^^;

御サイトを拝見させていただきました。
なるほど、謎が解けました。ありがとうございます。