Robots.txtの使い方と注意点！最適な設定方法とは？

目次

1. ロボット.txt ファイルとは？
2. ロボット.txt ファイルの使い方
3. ロボット.txt ファイルの記述方法
4. ロボット.txt ファイルの例
5. ロボット.txt ファイルの追加方法
6. ロボット.txt ファイルのテスト方法
7. ロボット.txt ファイルの注意点
8. ロボット.txt ファイルの最適化
9. ロボット.txt ファイルのベストプラクティス
10. ロボット.txt ファイルのよくある質問 (FAQ)

ロボット.txt ファイルとは？

ロボット.txtファイルは、ウェブサイトのクローラー（Google Bot、Bingbot、Yandex botなど）がサイトと対話する際のルールと規制を定めたテキストファイルです。ウェブサイトにRobots.txtファイルが存在する場合、ドメインに/robots.txtを追加すると、ファイルの内容が表示されます。通常、Robots.txtファイルは、特にeコマースサイトで発生する重複コンテンツなど、ウェブサイトの一部を検索エンジンのクローリングから制限するために使用されます。しかし、一般的には、ウェブサイトの一部を検索エンジンから制限する必要がない場合は、あまり心配する必要はありません。

ロボット.txt ファイルの使い方

ロボット.txtファイルにはいくつかの使い方があります。まず、eコマースサイトでは、訪問者が製品の検索やフィルタリングを行うための機能があります。しかし、検索、フィルタリング、カテゴリ、属性ごとに複数のページが作成されるため、クロールの予算が膨れ上がる可能性があります。その結果、重要なページのクロールがおざなりにされる可能性があります。これを防ぐために、Robots.txtファイルを使用して検索エンジンがこれらのページにアクセスできないようにすることができます。

次に、特定のファイルを検索エンジンからクロールできないようにすることもできます。たとえば、リードマグネットの一環として人々の連絡先情報を入手する前に、画像、PDFなどのファイルが意図したものです。そのようなファイルが検索エンジンから検索されることは望ましくありません。

また、ウェブサイトの一部を非公開にするために、ファイルのパスまたはURLパラメータをクローラーがクロールできないようにすることもできます。クローラーが一度に複数のコンテンツをロードしてウェブサイトのサーバーを過負荷にさせないようにするため、クロールの遅延を指定することもできます。さらに、Robots.txtファイル上のサイトマップの場所を指定することで、クローラーがそれを簡単に見つけることができるようにすることもできます。

それでは、Robots.txtファイルの記述方法について見ていきましょう。

Robots.txtファイルの記述方法

Robots.txtファイルの記述には、いくつかの構文要素があります。

1. "User-agent:" - 特定の検索エンジンクローラーを呼び出すために使用される構文です。検索エンジンのクローラーがウェブサイトを見つけると、最初にRobots.txtファイルをルートフォルダー内で探します。ファイルの内容が表示されるかどうかをスキャンします。それを呼び出す必要がある場合、関連する部分をさらに読み取ります。サポートされるユーザーエージェントまたは検索エンジンのクローラーの名前は、公式のリストで確認できます。

2. "Disallow:" - サイトの特定の部分をクロールしないようにユーザーエージェントに指示するために使用される構文です。1行に1つの"Disallow:"コマンドのみを追加することができます。したがって、IkeaのRobots.txtファイルには多くの"Disallow"ルールがあることがわかります。"Allow"ルールは、親ページまたはサブフォルダーがDisallowされている場合でも、GoogleのクローラーであるGooglebotがページやサブフォルダーにアクセスできるようにするために適用されます。例として、Rank MathのRobots.txtファイルでは、すべての検索エンジンからWP-adminフォルダー内のファイルへのアクセスを拒否していますが、親フォルダー内にあるこの特定のファイルに対してはアクセスを許可したいため、Allowルールが使用されています。

3. "Crawl-delay" - クローラーが一度にウェブサイトの複数のコンテンツをロードする前に、サイトのドアステップで数秒待機するようにクローラーに指示するための構文です。これにより、サーバーがオーバーロードされるのを防ぐことができます。

4. "Sitemap" - 検索エンジンクローラーにXMLサイトマップの場所を指定するための構文です。これにより、クローラーが簡単にサイトマップを見つけることができます。

5. "" - 任意のシーケンスの文字列を表すワイルドカードです。つまり、特定の基準に関連するすべてのものを表します。例えば、IkeaのRobots.txtファイルでは、フィルターとフィルターの後に来るURLパラメータを含むすべてのものをクローラーがクロールしないようにしています。""を単独のプロパティとして残すと、すべてを意味することになります。例えば、すべてのユーザーエージェントを呼び出す場合です。

6. "#" - ハッシュタグの後に続くすべての内容がコメントとして記されます。

7. "$" - これは後に続く文字列のすべての文字列に一致します。例えば、サイトは"/solutions/" URLパラメータと、その後に続くすべてのURLスラッグをDisallowしています。

以上がRobots.txtファイルの基本的な構文です。次に、Robots.txtファイルの実際の使用例を見てみましょう。

Robots.txtファイルの例

以下にいくつかのRobots.txtファイルの例を示します。

Example 1:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

この例では、すべてのユーザーエージェントを呼び出し、 /wp-admin/フォルダーへのアクセスを拒否しています。ただし、/wp-admin/admin-ajax.phpファイルへのアクセスは許可しています。また、サイトマップの場所を指定しています。

Example 2:

User-agent: Googlebot
Disallow: /private/
Disallow: /secretfile.html
Crawl-delay: 5
Sitemap: https://example.com/sitemap.xml

この例では、Googlebotのみを呼び出し、/private/および/secretfile.htmlへのアクセスを拒否しています。また、クローラーに対して5秒のクロール遅延を指定し、サイトマップの場所を指定しています。

Robots.txtファイルの例では、特定のユーザーエージェントを呼び出し、そのクローラーに対して許可または拒否のルールを設定できます。ファイルの構文と指示に注意しながら、自分のウェブサイトの要件に基づいて適切なRobots.txtファイルを作成することが重要です。

Robots.txtファイルの追加方法

Robots.txtファイルをウェブサイトに追加する方法は、ウェブサイトのトップレベルディレクトリにファイルを配置することです。たとえば、ウェブホストのファイルマネージャーで、Robots.txtファイルはホームフォルダーの中にあるpublic_htmlフォルダーの下に配置されるべきです。また、サブドメインを使用している場合は、そのサイト名のフォルダーに配置する必要があります。

ただし、Rank Mathなどのプラグインを使用している場合、Robots.txtファイルを直接編集する必要はありません。Rank Mathの "General Settings"と "Edit robots.txt"のセクションで、Robots.txtファイルの内容を管理することができます。プラグインがRobots.txtファイルを自動的に生成するため、ルートフォルダーにRobots.txtファイルが存在する場合、それを削除する必要があります。プラグインを介してRobots.txtファイルを管理することで、簡単に変更や更新を行うことができます。

以上がRobots.txtファイルを追加する方法です。次は、Robots.txtファイルをテストする方法について見ていきましょう。

Robots.txtファイルのテスト方法

Robots.txtファイルの動作をテストする最良の方法は、GoogleのRobots.txtテストツールを使用することです。以下にその手順を示します。

1. GoogleのRobots.txtテストツールのページにアクセスします。
2. ウェブサイトのプロパティを選択します。ウェブサイトの検索コンソールを管理する正しいGoogleプロファイルにログインしていることを確認してください。
3. Robots.txtファイルが表示されます。テストツールの情報と既存のRobots.txtファイルの情報が異なる場合は、テストツールの情報をコピーし、テスターに貼り付けて送信します。
4. テスト後、Googleに情報を更新するように依頼します。
5. ページを更新すると、変更が反映されます。

ロボット.txtファイルにエラーがあるかどうかを判断するためには、テストツールを使用することをお勧めします。エラーがある場合、警告メッセージが表示されます。必要な修正を行い、テストを繰り返してください。

以上がRobots.txtファイルのテスト方法です。次に、Robots.txtファイルの注意点について見ていきましょう。

Robots.txtファイルの注意点

Robots.txtファイルを使用する際には、以下の注意点を考慮する必要があります。

1. すべてのユーザーエージェントをブロックするようなルールを追加しないでください。これにより、すべての検索エンジンクローラーがウェブサイトにアクセスできなくなります。

2. ロボット.txtファイル内のミスや間違いがあると、クローラーが正しくウェブサイトをクロールできなくなります。構文と指示の正確さに注意して記述し、テストツールを使用してエラーをチェックすることをお勧めします。

3. ロボット.txtファイルはウェブサイトのトップレベルディレクトリに配置する必要があります。正しい場所にファイルを配置しないと、クローラーがファイルを見つけることができず、ルールが適用されません。

4. ウェブサイトの要件に合わせて適切なRobots.txtファイルを作成してください。すべてのウェブサイトに同じファイルが適用されるわけではありません。ウェブサイトの目的やクロールの必要性に応じて、適切なルールを追加してください。

以上がRobots.txtファイルの注意点です。次に、Robots.txtファイルの最適化について見ていきましょう。

Robots.txtファイルの最適化

Robots.txtファイルを最適化することは、ウェブサイトのパフォーマンスやSEOの向上に寄与します。以下にいくつかのRobots.txtファイルの最適化のポイントを挙げます。

1. リードマグネットなどの特定のファイルをクローラーからブロックする場合は、「Disallow:」ルールを追加して、そのファイルのURLパスまたはURLパラメータを指定します。

2. 重複コンテンツを防ぐために特定のページをクローラーからブロックする場合は、「Disallow:」ルールを使用します。これにより、クローラーが重複したページをクロールしないようになります。

3. ウェブサイトの特定の部分を非公開にしたい場合は、「Disallow:」ルールを追加して、ファイルパスまたはURLパラメータを指定します。

4. クローラーがウェブサイトの重要なページを過負荷にしないようにするために、クロール遅延を指定することができます。これにより、クローラーがウェブサイトをより効率的にクロールできるようになります。

5. サイトマップの場所をRobots.txtファイルで指定することで、クローラーがサイトマップを容易に見つけることができます。

以上がRobots.txtファイルの最適化のポイントです。次に、Robots.txtファイルのベストプラクティスについて見ていきましょう。

Robots.txtファイルのベストプラクティス

Robots.txtファイルを効果的に使用するためのいくつかのベストプラクティスを紹介します。

1. 必要な場合にのみRobots.txtファイルを使用してください。ウェブサイトのクロールやインデックスに関する特定の要件がない場合は、Robots.txtファイルを作成する必要はありません。

2. 許可する範囲を明確にするために、必要に応じて「Allow:」ルールを使用してください。

3. Robots.txtファイルを定期的にテストして、正常に機能していることを確認してください。特にウェブサイトの変更やアップデートがある場合には、テストを行うことが重要です。

4. ユーザーエージェントごとに異なるルールがある場合は、複数のグループを作成してそれぞれのルールを指定します。グループごとにユーザーエージェントを指定し、関連するルールを追加します。

5. 設定したルールがウェブサイトに適用されていることを確認するために、GoogleのRobots.txtテストツールを使用してテストしてください。

これらのベストプラクティスに従うことで、Robots.txtファイルを最大限に活用し、ウェブサイトのパフォーマンスとSEOを向上させることができます。

以上がRobots.txtファイルのベストプラクティスです。次に、よくある質問（FAQ）をいくつか紹介しましょう。

よくある質問（FAQ）

Q: Robots.txtファイルは必要ですか？ A: ウェブサイトの特定の要件によります。ウェブサイトのクロールやインデックスに関する制限が必要な場合は、Robots.txtファイルを使用することをお勧めします。

Q: Robots.txtファイルの場所はどこですか？ A: Robots.txtファイルはウェブサイトのトップレベルディレクトリに配置する必要があります。通常、ファイルマネージャーやFTPソフトウェアを使用して、ファイルをウェブサイトのルートフォルダーにアップロードします。

Q: Robots.txtファイルはSEOに影響しますか？ A: Robots.txtファイルは直接的なSEOの影響を与えるものではありませんが、適切に使用することでウェブサイトのクロールとインデックスの制御を改善できます。これにより、ウェブサイトの可視性とパフォーマンスが向上する可能性があります。

以上がRobots.txtファイルに関するよくある質問の例です。

この記事では、Robots.txtファイルの基本的な使い方や記述方法、最適化の方法、注意点などについて説明しました。Robots.txtファイルを適切に使用することで、ウェブサイトのクロールとインデックスを最適化し、SEOのパフォーマンスを向上させることができます。ウェブマスターやSEO担当者にとって、Robots.txtファイルは重要なツールですので、これらのガイドラインを参考にして活用してください。

▶︎本記事に関連するリソース：

• GoogleのRobots.txtファイルテストツール

気軽にコメントや質問をしていただければ、お手伝いいたします。また、このチャンネルでは実用的なビジネスとSEOガイドを定期的に公開していますので、ぜひチャンネル登録をお考えください。お問い合わせや質問があれば、お気軽にお知らせください。Rank MathのJackでした。次のビデオでお会いしましょう！