今回は、WordPressでサイトを構築した際に自動で生成される、
仮想robots.txtについての投稿です。
仮想robots.txtの生成
robots.txtとは？
ですが、
簡単に言えば、
検索ロボットが自分のサイトにクローリングしに来るのを制御するのに使用するファイルですね。
その為、使い方次第では、SEOにも関わってくる重要なファイルです。
それで、
WordPressでサイトを構築すると、robots.txtが自動で生成されます。
※仮想robots.txtを作成するだけなので、リアルに「robots.txt」ファイルが作成される訳ではないですが。
試しに、
インストール後に、ブラウザから以下のURLにアクセスしてみて下さい。
http://sample.com/robots.txt
このような内容が表示されると思います。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
これにより、
インデックスさせる必要のない「wp-admin」へ、
検索ロボットがクローリングしに来るのを防いでくれます。
そもそも「wp-admin」が検索エンジンに引っ掛かってしまうと大ごとなので、
助かりますね！！
ただ、注意しないといけないのが、
仮想robots.txtを生成してくれない場合がある点です。
それについては、
以下で具体的に説明します。
仮想robots.txtが作成されない
WordPressをインストールしても仮想robots.txtが作成されない場合には、
以下の2パターンが考えられます。
パーマリンクの設定がデフォルトのままになっている場合
「パーマリンク」の設定が、
デフォルトの「http://sample.com/?p=123」のままになっていると、
仮想robots.txtは生成されません。
デフォルトのままで運用されている方はいないと思いますが、
念の為に注意してください。
サブディレクトリでサイトを公開している場合
サブディレクトリにWordPressをインストールしてサイトを公開している場合、
仮想robots.txtは作成されません。
例えば、
私のこのブログは「engineer」というサブディレクトリで公開しているので、
仮想robots.txtが生成されません。
実際に、「http://sample.com/サブディレクトリ/robots.txt」にアクセスしても404になるだけです。
これは当たり前で、
元々、Googleはドキュメントルートに置いてあるrobots.txtを見に来ます。
なので、
サブディレクトリにrobots.txtを置いていても意味はありません。
必要な場合には、
手動でrobots.txtを作成してドキュメントルートにアップしましょう。
因みにですが、
サブディレクトリにインストールしていても、
公開先をドキュメントルートと同じにしている場合には、
問題なく自動で生成されます。
簡単にですが、仮想robots.txtについてまとめてみました。
それでは、最後にですが、
robots.txtの編集についてです。
一応、サイトマップのURLもrobots.txtに追加しておきましょう！
という話です。
↓↓
robots.txtにサイトマップを追加
robots.txtは下手に触ると問題が発生した時怖いです。
その為、私は原則修正を行いません。
ただし、サイトマップのURLは追加しておいてもいいと思います。
具体的には、
以下をファイルの一番下でいいので追記するだけです。
Sitemap: http://example.com/sitemap.xml
こうしておけば、検索エンジンにサイトマップの場所を伝えてくれるので、
クローリングがスムーズに行われるようになります。
簡単にですが、
ここまでrobots.txtについてまとめてみました。
ただ、私は普段、サイトマップの追加以外でrobots.txtをいじることはあまり無いので、
詳しくは説明できないですが、
SEOにも関係してきます。
興味のある方は、
多くの方がrobots.txtの書き方についても説明してくれているので、
一度検索してみて下さい。
