Google Search Console（検索での表示状況を確認できる、Googleの無料サービス）を使っていると、ある日「robots.txtによりブロックされました」という通知が届くことがあります。
「ブロック」という言葉から、サイト全体が検索に出なくなったのではと不安になる方が多いのですが、多くの場合、慌てる必要はありません。
この記事では、通知が来たときに何を見て、どう判断すればよいかを順番に説明します。
1. 結論：まず対象のURLを見る
この通知は、「Googleが見に行こうとしたページのうち、robots.txtで立ち入り禁止にされていたものがある」という意味です。
大切なのは、どのページが対象になっているかです。
- 対象が管理画面や検索結果のページなど、もともと検索に出す必要のないページなら、放置して問題ありません
- 対象がトップページやサービス紹介など、検索に出したいページなら、直す必要があります
通知の件数が多くても、対象がすべて前者なら心配はいりません。
2. robots.txtとは何か
robots.txt は、サイトに置いておく「検索エンジン向けの立ち入り案内」のようなファイルです。「このページは見に来なくていいです」と、検索エンジンに伝えるために使います。
ご自身のサイトの robots.txt は、ブラウザで「https://（ご自身のドメイン）/robots.txt」を開くと見られます。Disallow: の後ろに書かれている場所が、立ち入り禁止にしている場所です。
WordPressなどでは、管理画面などを最初から立ち入り禁止にしていることが多く、それ自体は正常な設定です。
3. 確認の手順
- Search Console を開き、左のメニューから「ページ」（インデックス作成の状況）を開く
- 「ページがインデックスに登録されなかった理由」の一覧から、「robots.txt によりブロックされました」を押す
- 表示されたURLの一覧を見る
- 一覧のURLが、検索に出したいページかどうかを1つずつ見分ける
気になるURLがあれば、画面上部の「URL検査」にそのURLを入れると、Googleから見た状態を個別に確かめられます。
4. 放置してよいURLの例
| URLの特徴 | どんなページか |
|---|---|
/wp-admin/ を含む | WordPressの管理画面 |
?s= や /search/ を含む | サイト内検索の結果ページ |
/cart/ /checkout/ など | ネットショップのカートや購入手続きの画面 |
? の後ろに記号や英数字が長く続く | 並べ替えや絞り込みで自動的に作られるページ |
これらは、検索に出ても利用者の役に立たないページです。立ち入り禁止にしておくのは、むしろ正しい設定です。
5. 直したほうがよいケースと直し方
次のような場合は、直す必要があります。
- トップページやサービス紹介のページが一覧に入っている
- ほぼすべてのページが一覧に入っている
- robots.txt に
Disallow: /とスラッシュ1文字だけが書かれている（サイト全体を立ち入り禁止にする書き方です）
よくある原因は、制作中に検索に出さないよう設定していたものが、公開後もそのまま残っていることです。
直すときは、サイトを作った会社に、対象のURLと通知の画面を伝えて相談するのが安全です。robots.txt は1行の書き間違いでサイト全体が検索に出なくなることがあるため、仕組みに慣れていない場合はご自身で書き換えないでください。
直したあとは、Search Console の同じ画面で「修正を検証」を押します。反映には数日〜数週間かかることがあります。
6. よく似た通知との違い
| 通知 | 意味 |
|---|---|
| robots.txt によりブロックされました | 立ち入り禁止のため、Googleがページの中身を見ていない |
| 「noindex」タグによって除外されました | ページの中身を見たうえで、「検索に出さないで」という指示に従った |
| インデックス登録済みだが、robots.txt によりブロックされました | 中身は見ていないが、ほかのサイトからのリンクなどで存在は知られており、検索に出ている |
3つ目は、検索に出したくないページが、中身のない状態で検索結果に出てしまっていることがあります。気になる場合は、制作会社に相談してください。
7. よくある質問
Q. 通知が来たということは、サイトに何か問題が起きたのですか？
多くの場合、違います。管理画面などを立ち入り禁止にしている正常な設定を、Googleが報告しているだけのことがほとんどです。まず対象のURLを確認してください。
Q. 通知を消す方法はありますか？
対象が検索に出す必要のないページなら、通知が残っていても問題ありません。通知を消すために立ち入り禁止を外すと、かえって役に立たないページが検索に出ることがあります。
Q. 自分のサイトのrobots.txtが正しいか、どう確かめればいいですか？
ブラウザで「/robots.txt」を開き、Disallow: / とスラッシュ1文字だけの行がないかを見てください。それがなく、トップページなどが検索に出ているなら、大きな問題はありません。
まとめ
- 通知が来ても、サイト全体が検索に出なくなったとは限らない
- まず Search Console で対象のURLの一覧を見る
- 管理画面・サイト内検索・カートなどなら放置してよい
- トップページやサービス紹介が入っていたら、制作会社に相談して直す
- robots.txt は1行の間違いで大きな影響が出るため、慣れていなければ自分で書き換えない