robots.txtとは？簡単な書き方とプラグインで記述する方法

またまたSEOを勉強していくとrobots.txtという言葉が出てくると思いますが、robots.txtと言われても意味が分からない人が多いですよね。

SEOの内部対策で設定しておく1つの施策なのですが、この記事では分かりやすいrobots.txtの意味と書き方を紹介していきます。

robots.txtは正しい知識が無い状態で間違って記述してしまうとSEOに大きな影響を及ぼしてしまいます。

最初の頃は、基本形だけにしておきましょう。

robots.txtとは

robots.txtとは、クローラーの巡回を指示するためのファイルです。

指示しない場合、クローラーは全てに対して巡回しますので、WEBサイトの中で必要の無い部分をクローラーが巡回しないように指定したりできるということなのですね。

robots.txtはクローラーの巡回を制限するためのファイルですので、通常は設定する必要はありません。

WEBサイトの規模が大きかったり、複雑な構造になってしていたり、サーバーの負荷が大きくなり、パフォーマンスに影響する場合には巡回が不要なWEBページを指定したり、特定のクローラーの巡回を制限したりすることができるということです。

しかし、これは難しい部分でもありますので、最初の頃にはこれだけ設定しておけばOKという書き方を書いていきます。

robots.txtの書き方

robots.txtの書き方には基本的な形が決まっています。

この形なのですが、意味を説明しておきます。

• User-agent: *→対象となるクローラー
• Disallow:→許可しない
• Allow:→許可する

これだけ意味を覚えておけばOKです。

これで先ほどの記述の意味を解説しますと次のようになります。

この記述だけでOKなのですが、実際にどこに記述するのか分からなくて困りますよね？

【robots.txtの基本形】プラグインを使った書き方

このrobots.txtの一番簡単な書き方はプラグインで設定することです。

プラグインの名前は「All in One SEO Pack」です。

All in One SEO Packでのrobots.txtの書き方

「All in One SEO Pack」でのrobots.txtの書き方を解説していきます。

まず「All in One SEO Pack」をインストールしたら、「機能」のなかで「フリー」と書いてあるものは全て有効化してください。

▼Robots.txtをクリックする

▼プラグインの機能が有効化されているとこうなっている

意味は先ほどの説明の通りです。

この記述になっていればOKなのですが、要はプラグイン「All in One SEO Pack」をインストールして「Robots.txt」の機能を有効化するだけで勝手にここまで記述されてしまいますので、あなたは何もする必要はありません。

簡単ですよね。

robots.txtの書き方まとめ

robots.txtはクローラーの巡回を指示したり制限したりするファイルのことです。

正しい知識を持たずにrobots.txtを設定してしまうとGoogleからの評価を下げてしまう場合もありますので、基本的な意味だけ理解して基本形だけ記述しておくのが良いでしょう。

最も簡単なrobots.txtの書き方はプラグイン「All in One SEO Pack」をインストールして「機能」を有効化するだけというやり方です。

追記：ALL in One SEO以外でのrobots.txtの書き方

2021年10月現在、私はAll in One SEOを削除しました。

理由は、最近のWordPressテーマがSEO内部対策の設定が優秀だからです。

テーマがほとんどの設定が施策済みとなると、逆にAll in One SEOなどのSEOプラグインを入れると干渉してしまい不利になります。

昔はWordPressでSEO設定しようとすれば、All in One SEOでバズ部さんの出した記事通りに設定することで完璧な内部対策ができたのですが、現在はWordPressのアップデートによりテーマがどんどん優秀になってきています。

私が使っているAFFINGER6のテーマで出来ないことは、

• サイトマップの作成
• robots.txtの設定

ぐらいであり、そこだけ補えばAll in One SEOは必要なくなり、重いプラグインは不利になります。

さらにはAll in One SEOのテーマとの干渉により不具合が生じてきたことが理由です。

現時点での一番簡単なrobots.txtの書き方

プラグイン「WP Robots Txt」をダウンロードします。

有効化したら、

表示設定の画面に次のrobots.txtの設定項目が追加されています。

↓↓

ここに次をコピーして貼り付ければOKです。

追記2：内部対策は最初からテーマに任せてしまったほうが良い

SEO対策の関連記事