WPではrobots.txtが自動生成されます

今回は、WordPressでサイトを構築した際に自動で生成される、
仮想robots.txtについての投稿です。

仮想robots.txtの生成

robots.txtとは？
ですが、
簡単に言えば、
検索ロボットが自分のサイトにクローリングしに来るのを制御するのに使用するファイルですね。

その為、使い方次第では、SEOにも関わってくる重要なファイルです。

それで、
WordPressでサイトを構築すると、robots.txtが自動で生成されます。
※仮想robots.txtを作成するだけなので、リアルに「robots.txt」ファイルが作成される訳ではないですが。

試しに、
インストール後に、ブラウザから以下のURLにアクセスしてみて下さい。
http://sample.com/robots.txt

このような内容が表示されると思います。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

これにより、
インデックスさせる必要のない「wp-admin」へ、
検索ロボットがクローリングしに来るのを防いでくれます。

そもそも「wp-admin」が検索エンジンに引っ掛かってしまうと大ごとなので、
助かりますね！！

ただ、注意しないといけないのが、
仮想robots.txtを生成してくれない場合がある点です。

それについては、
以下で具体的に説明します。

仮想robots.txtが作成されない

WordPressをインストールしても仮想robots.txtが作成されない場合には、
以下の2パターンが考えられます。

パーマリンクの設定がデフォルトのままになっている場合

「パーマリンク」の設定が、
デフォルトの「http://sample.com/?p=123」のままになっていると、
仮想robots.txtは生成されません。

デフォルトのままで運用されている方はいないと思いますが、
念の為に注意してください。

サブディレクトリでサイトを公開している場合

サブディレクトリにWordPressをインストールしてサイトを公開している場合、
仮想robots.txtは作成されません。

例えば、
私のこのブログは「engineer」というサブディレクトリで公開しているので、
仮想robots.txtが生成されません。

実際に、「http://sample.com/サブディレクトリ/robots.txt」にアクセスしても404になるだけです。

これは当たり前で、
元々、Googleはドキュメントルートに置いてあるrobots.txtを見に来ます。

なので、
サブディレクトリにrobots.txtを置いていても意味はありません。

必要な場合には、
手動でrobots.txtを作成してドキュメントルートにアップしましょう。

因みにですが、
サブディレクトリにインストールしていても、
公開先をドキュメントルートと同じにしている場合には、
問題なく自動で生成されます。

簡単にですが、仮想robots.txtについてまとめてみました。

それでは、最後にですが、
robots.txtの編集についてです。

一応、サイトマップのURLもrobots.txtに追加しておきましょう！
という話です。
↓↓

robots.txtにサイトマップを追加

robots.txtは下手に触ると問題が発生した時怖いです。
その為、私は原則修正を行いません。

ただし、サイトマップのURLは追加しておいてもいいと思います。

具体的には、
以下をファイルの一番下でいいので追記するだけです。
Sitemap: http://example.com/sitemap.xml

こうしておけば、検索エンジンにサイトマップの場所を伝えてくれるので、
クローリングがスムーズに行われるようになります。

簡単にですが、
ここまでrobots.txtについてまとめてみました。

ただ、私は普段、サイトマップの追加以外でrobots.txtをいじることはあまり無いので、
詳しくは説明できないですが、
SEOにも関係してきます。

興味のある方は、
多くの方がrobots.txtの書き方についても説明してくれているので、
一度検索してみて下さい。