WP:WordPress(ワードプレス)

WPではrobots.txtが自動生成されます

今回は、WordPressでサイトを構築した際に自動で生成される、
仮想robots.txtについての投稿です。

仮想robots.txtの生成

robots.txtとは?
ですが、
簡単に言えば、
検索ロボットが自分のサイトにクローリングしに来るのを制御するのに使用するファイルですね。

その為、使い方次第では、SEOにも関わってくる重要なファイルです。

それで、
WordPressでサイトを構築すると、robots.txtが自動で生成されます。
仮想robots.txtを作成するだけなので、リアルに「robots.txt」ファイルが作成される訳ではないですが。

試しに、
インストール後に、ブラウザから以下のURLにアクセスしてみて下さい。
http://sample.com/robots.txt

このような内容が表示されると思います。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

これにより、
インデックスさせる必要のない「wp-admin」へ、
検索ロボットがクローリングしに来るのを防いでくれます。

そもそも「wp-admin」が検索エンジンに引っ掛かってしまうと大ごとなので、
助かりますね!!

ただ、注意しないといけないのが、
仮想robots.txtを生成してくれない場合がある点です。

それについては、
以下で具体的に説明します。

仮想robots.txtが作成されない

WordPressをインストールしても仮想robots.txtが作成されない場合には、
以下の2パターンが考えられます。

パーマリンクの設定がデフォルトのままになっている場合

「パーマリンク」の設定が、
デフォルトの「http://sample.com/?p=123」のままになっていると、
仮想robots.txtは生成されません。

デフォルトのままで運用されている方はいないと思いますが、
念の為に注意してください。

サブディレクトリでサイトを公開している場合

サブディレクトリにWordPressをインストールしてサイトを公開している場合、
仮想robots.txtは作成されません。

例えば、
私のこのブログは「engineer」というサブディレクトリで公開しているので、
仮想robots.txtが生成されません。

実際に、「http://sample.com/サブディレクトリ/robots.txt」にアクセスしても404になるだけです。

これは当たり前で、
元々、Googleはドキュメントルートに置いてあるrobots.txtを見に来ます。

なので、
サブディレクトリにrobots.txtを置いていても意味はありません。

必要な場合には、
手動でrobots.txtを作成してドキュメントルートにアップしましょう。

因みにですが、
サブディレクトリにインストールしていても、
公開先をドキュメントルートと同じにしている場合には、
問題なく自動で生成されます。

簡単にですが、仮想robots.txtについてまとめてみました。

それでは、最後にですが、
robots.txtの編集についてです。

一応、サイトマップのURLもrobots.txtに追加しておきましょう!
という話です。
↓↓

robots.txtにサイトマップを追加

robots.txtは下手に触ると問題が発生した時怖いです。
その為、私は原則修正を行いません。

ただし、サイトマップのURLは追加しておいてもいいと思います。

具体的には、
以下をファイルの一番下でいいので追記するだけです。
Sitemap: http://example.com/sitemap.xml

こうしておけば、検索エンジンにサイトマップの場所を伝えてくれるので、
クローリングがスムーズに行われるようになります。

簡単にですが、
ここまでrobots.txtについてまとめてみました。

ただ、私は普段、サイトマップの追加以外でrobots.txtをいじることはあまり無いので、
詳しくは説明できないですが、
SEOにも関係してきます。

興味のある方は、
多くの方がrobots.txtの書き方についても説明してくれているので、
一度検索してみて下さい。

この記事を書いている人
株式会社ディープ

名前ダッチ

メールアドレスadachi@deep-deep.jp

Twitterはこちら >>

関連記事

最近の記事

  1. 常時SSL通信設定後にやっておくべきこと
  2. 常時SSL通信設定方法
  3. htaccessとは
  4. WordPress
  5. WordPress
  6. 動的URLを疑似静的化
  7. ホームページ(homepage)
  8. 日本語ドメイン
  9. パンくずの構造化
  10. ホームページを公開したら、必ずやるべき事

Twitter

ダッチ@職業ブロガー兼プログラマー
@gatsu0000

  • 今日は朝からマニュアル作成 なんでマニュアル作成って、こんなにつまらないんやろ。 必要やから作成するけど、コード書くかブログ記事のアップを行いたい。
    about 2日 ago via Twitter Web App

アーカイブ

PAGE TOP