Bloggerの場合robots.txtは自動生成されるので、手の打ち様がない。
記事作成時点でこのブログでは
- SEO
- ジャズ
- ジャズミュージシャン
- 大学
- 日々
と5つのラベルに分けているが、"ジャズミュージシャン"以外のラベル全てがrobots.txtによって制限されている状態だ。
#この時点でラベル"ジャズミュージシャン"には2件の投稿がある.
もうちょっと書き貯めたら自動生成されるrobots.txtのルールが解るんだろうか。
制限されているラベルと、そうでないラベルがある以上、何らかの判定基準が有る筈なんだけど。
Googleで調べても其処まで教えてくれる人は居ないみたいだね。
2 件のコメント:
はじめまして、クリボウといいます。
robots.txt には
User-agent: *
Disallow: /search
と書かれているので、検索結果(ラベルも含む)のページは全て Google にインデックスされません。
「ジャズミュージシャン」ラベルのページも、いずれ制限された URL として表示されると思います。
去年書いたものですが…、こちらもどうぞ。
クリボウ様>
返信が遅くなってすいません。
何せまさか、自分のブログにコメントが掲載されるとは思ってもいませんでしたので把握するまでに時間が...^^;
御サイトを拝見させていただきました。
なるほど、謎が解けました。ありがとうございます。
コメントを投稿