robots.txtの書き方|誰でも1クリックで記述できるやり方

2020年3月30日

robots.txtの書き方

 

たまたSEOを勉強していくとrobots.txtという言葉が出てくると思いますが、robots.txtと言われても意味が分からない人が多いですよね。

SEOの内部対策で設定しておく1つの施策なのですが、この記事では分かりやすいrobots.txtの意味と書き方を紹介していきます。

 

robots.txtは正しい知識が無い状態で間違って記述してしまうとSEOに大きな影響を及ぼしてしまいます。

最初の頃は、基本形だけにしておきましょう。

WEB集客大学の WordPressテーマはACTION(AFFINGER6)を使っています

ACTION(AFFINGER6)
価格:14,800円(税込)

 SEOに強いWordPressテーマ
ACTION(AFFINGER6)

 

robots.txtとは

robots.txtとは、クローラーの巡回を指示するためのファイルです。

指示しない場合、クローラーは全てに対して巡回しますので、WEBサイトの中で必要の無い部分をクローラーが巡回しないように指定したりできるということなのですね。

 

robots.txtはクローラーの巡回を制限するためのファイルですので、通常は設定する必要はありません。

WEBサイトの規模が大きかったり、複雑な構造になってしていたり、サーバーの負荷が大きくなり、パフォーマンスに影響する場合には巡回が不要なWEBページを指定したり、特定のクローラーの巡回を制限したりすることができるということです。

 

しかし、これは難しい部分でもありますので、最初の頃にはこれだけ設定しておけばOKという書き方を書いていきます。

 

robots.txtの書き方

robots.txtの書き方には基本的な形が決まっています。

 

robots.txtの基本形

User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php

Sitemap: https://sample.com/sitemap.xml

 

この形なのですが、意味を説明しておきます。

 

  • User-agent: *→対象となるクローラー
  • Disallow:→許可しない
  • Allow:→許可する

 

これだけ意味を覚えておけばOKです。

これで先ほどの記述の意味を解説しますと次のようになります。

 

robots.txtの意味

User-agent: *→全てのクローラーが対象
Disallow: /wp/wp-admin/→あなたのサイトの管理画面は巡回を許可しない
Allow: /wp/wp-admin/admin-ajax.php→あなたのサイトの管理画面のJavaScriptやCSSを許可する

Sitemap: https://sample.com/sitemap.xml→あなたのサイトのサイトマップの位置を指定します

 

この記述だけでOKなのですが、実際にどこに記述するのか分からなくて困りますよね?

 

【robots.txtの基本形】プラグインを使った書き方

このrobots.txtの一番簡単な書き方はプラグインで設定することです。

 

プラグインの名前は「All in One SEO Pack」です。

 

All in One SEO Packでのrobots.txtの書き方

「All in One SEO Pack」でのrobots.txtの書き方を解説していきます。

まず「All in One SEO Pack」をインストールしたら、「機能」のなかで「フリー」と書いてあるものは全て有効化してください。

 

▼Robots.txtをクリックする

All in One SEO PackのRobots.txtを選択

 

▼プラグインの機能が有効化されているとこうなっている

robots.txtがすでに記述されている

 

意味は先ほどの説明の通りです。

この記述になっていればOKなのですが、要はプラグイン「All in One SEO Pack」をインストールして「Robots.txt」の機能を有効化するだけで勝手にここまで記述されてしまいますので、あなたは何もする必要はありません。

 

簡単ですよね。

 

robots.txtの書き方まとめ

robots.txtはクローラーの巡回を指示したり制限したりするファイルのことです。

正しい知識を持たずにrobots.txtを設定してしまうとGoogleからの評価を下げてしまう場合もありますので、基本的な意味だけ理解して基本形だけ記述しておくのが良いでしょう。

 

最も簡単なrobots.txtの書き方はプラグイン「All in One SEO Pack」をインストールして「機能」を有効化するだけというやり方です。

 

追記:ALL in One SEO以外でのrobots.txtの書き方

2021年10月現在、私はAll in One SEOを削除しました。

理由は、最近のWordPressテーマがSEO内部対策の設定が優秀だからです。

テーマがほとんどの設定が施策済みとなると、逆にAll in One SEOなどのSEOプラグインを入れると干渉してしまい不利になります。

昔はWordPressでSEO設定しようとすれば、All in One SEOでバズ部さんの出した記事通りに設定することで完璧な内部対策ができたのですが、現在はWordPressのアップデートによりテーマがどんどん優秀になってきています。

私が使っているAFFINGER6のテーマで出来ないことは、

  • サイトマップの作成
  • robots.txtの設定

ぐらいであり、そこだけ補えばAll in One SEOは必要なくなり、重いプラグインは不利になります。

さらにはAll in One SEOのテーマとの干渉により不具合が生じてきたことが理由です。

 

現時点での一番簡単なrobots.txtの書き方

プラグイン「WP Robots Txt」をダウンロードします。

有効化したら、

WordPressの一般設定

表示設定をクリックします

 

表示設定の画面に次のrobots.txtの設定項目が追加されています。

↓↓

WordPress設定の表示設定にrobots.txtの設定画面

 

ここに次をコピーして貼り付ければOKです。

Sitemap: https://kantansyukyaku.com/wp/sitemap.xml
Sitemap: https://kantansyukyaku.com/wp/sitemap.rss

 

SEO対策の関連記事

SEO対策を網羅した実践型の方法まとめ
最新のSEO対策のやり方|基本から初心者向けにわかりやすく解説

  最新のSEO対策のやり方を初心者向けにわかりやすく基本をまとめました。 正直、SEO対策って調べていても、どの記事も初心者には専門用語満載でかりにくいですよね。 私も非常に苦労しましたの ...

続きを見る

  • この記事を書いた人

稲川 勤

自身の整体院が月商250万をあげた集客、販促のノウハウを教える専門家。WEB集客・メルマガ販促などの知識を発信しています。

-seo内部対策

© 2021 WEB集客大学 Powered by AFFINGER5