robots.txtの書き方|誰でも1クリックで記述できるやり方

2020年3月30日

robots.txtの書き方

 

たまたSEOを勉強していくとrobots.txtという言葉が出てくると思いますが、robots.txtと言われても意味が分からない人が多いですよね。

SEOの内部対策で設定しておく1つの施策なのですが、この記事では分かりやすいrobots.txtの意味と書き方を紹介していきます。

 

robots.txtは正しい知識が無い状態で間違って記述してしまうとSEOに大きな影響を及ぼしてしまいます。

最初の頃は、基本形だけにしておきましょう。

【affinger5】SEOに強いWordPressのおすすめテーマ
【AFFINGER5】SEOに強いWordPressのおすすめテーマ

  WordPressでサイトを作る意味は「SEOで検索上位に上げるため」の他には理由がありませんね。 しかし、テーマが無数にありすぎて、とりあえず最初から付いているTwenty ninet ...

続きを見る

 

robots.txtとは

robots.txtとは、クローラーの巡回を指示するためのファイルです。

指示しない場合、クローラーは全てに対して巡回しますので、WEBサイトの中で必要の無い部分をクローラーが巡回しないように指定したりできるということなのですね。

 

robots.txtはクローラーの巡回を制限するためのファイルですので、通常は設定する必要はありません。

WEBサイトの規模が大きかったり、複雑な構造になってしていたり、サーバーの負荷が大きくなり、パフォーマンスに影響する場合には巡回が不要なWEBページを指定したり、特定のクローラーの巡回を制限したりすることができるということです。

 

しかし、これは難しい部分でもありますので、最初の頃にはこれだけ設定しておけばOKという書き方を書いていきます。

 

robots.txtの書き方

robots.txtの書き方には基本的な形が決まっています。

 

robots.txtの基本形

User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php

Sitemap: https://sample.com/sitemap.xml

 

この形なのですが、意味を説明しておきます。

 

  • User-agent: *→対象となるクローラー
  • Disallow:→許可しない
  • Allow:→許可する

 

これだけ意味を覚えておけばOKです。

これで先ほどの記述の意味を解説しますと次のようになります。

 

robots.txtの意味

User-agent: *→全てのクローラーが対象
Disallow: /wp/wp-admin/→あなたのサイトの管理画面は巡回を許可しない
Allow: /wp/wp-admin/admin-ajax.php→あなたのサイトの管理画面のJavaScriptやCSSを許可する

Sitemap: https://sample.com/sitemap.xml→あなたのサイトのサイトマップの位置を指定します

 

この記述だけでOKなのですが、実際にどこに記述するのか分からなくて困りますよね?

 

【robots.txtの基本形】プラグインを使った書き方

このrobots.txtの一番簡単な書き方はプラグインで設定することです。

 

プラグインの名前は「All in One SEO Pack」です。

 

All in One SEO Packでのrobots.txtの書き方

「All in One SEO Pack」でのrobots.txtの書き方を解説していきます。

まず「All in One SEO Pack」をインストールしたら、「機能」のなかで「フリー」と書いてあるものは全て有効化してください。

 

▼Robots.txtをクリックする

All in One SEO PackのRobots.txtを選択

 

▼プラグインの機能が有効化されているとこうなっている

robots.txtがすでに記述されている

 

意味は先ほどの説明の通りです。

この記述になっていればOKなのですが、要はプラグイン「All in One SEO Pack」をインストールして「Robots.txt」の機能を有効化するだけで勝手にここまで記述されてしまいますので、あなたは何もする必要はありません。

 

簡単ですよね。

 

robots.txtの書き方まとめ

robots.txtはクローラーの巡回を指示したり制限したりするファイルのことです。

正しい知識を持たずにrobots.txtを設定してしまうとGoogleからの評価を下げてしまう場合もありますので、基本的な意味だけ理解して基本形だけ記述しておくのが良いでしょう。

 

最も簡単なrobots.txtの書き方はプラグイン「All in One SEO Pack」をインストールして「機能」を有効化するだけというやり方です。

SEO対策の関連記事

SEO対策を網羅した実践型の方法まとめ
SEO対策とは?【最新】初心者向けGoogleへの基本対策の方法

  SEO対策の基本をまとめました。 正直、SEOって調べていても、どの記事も専門用語満載で分かりにくいですよね。 私も非常に苦労しましたので、このまとめでは専門用語の分からない初心者でも、 ...

続きを見る

【affinger5】SEOに強いWordPressのおすすめテーマ
【AFFINGER5】SEOに強いWordPressのおすすめテーマ

  WordPressでサイトを作る意味は「SEOで検索上位に上げるため」の他には理由がありませんね。 しかし、テーマが無数にありすぎて、とりあえず最初から付いているTwenty ninet ...

続きを見る



  • この記事を書いた人

稲川 勤

自身の整体院が月商250万をあげた集客、販促のノウハウを教える専門家。WEB集客・メルマガ販促などの知識を発信しています。

-seo内部対策

© 2020 WEB集客大学 Powered by AFFINGER5