インデックスされない理由の探り方とステータス別の対処法

以下のことを解説します
  • インデックスまでのステップと仕組み
  • ページがインデックスされない理由
  • ステータス別の対処法と改善策

インデックスされないというのは、SEOをやっていく上でかなりの痛手です。

検索上位を目指して日々ブログを書いているというのに、検索結果に全く表示されないというのではモチベーションを保てませんよね。かくいう私もインデックス未登録に悩み、ひたすら検証・調査を行ってきました。

そこで今回は、インデックスされない理由の探り方と原因別の対処法を紹介します。記事が全然インデックスされないという方は、ぜひ参考にしてください。

目次

インデックスとは

Googleのインデックスと検索行動の仕組み

まず前提として、インデックス(index)とは検索エンジンが持つデータベースへ登録されることです。

ユーザーが検索を行うと、検索エンジンは膨大なデータベースの中から適した結果(ページや画像など)を返します。そのため、インデックスは検索結果に表示されるための大事なプロセスということになります。

例えるなら、インデックスは大きな図書館に本を置いてもらう行為です。図書館職員は利用者のニーズに合わせて最適な本を紹介します。

もちろん、本(コンテンツ)が面白くなければ利用者に勧められることはなく、読める状態でないなら図書館に置いてもらうことすらできません。

インデックスとクロールの関係

インデックスは、「クローラー」と呼ばれるサイトの巡回・情報収集を行うbotが行います。

そして、ページ(記事)が公開されてからインデックスされるまでには、クローラーによる検出と巡回(クロール)を経る必要があります。

インデックスまでの4つのステップ

当然、クローラーがページを発見できなかったり、ページにアクセスできないとインデックスはされません。また、クローラーがページにアクセスしてこない場合も同様です。

この仕組みはSEOと付き合っていく上でとても大切なことなので、必ず覚えておきましょう。

インデックスの必須条件

以上より、インデックスされるための条件が2つあることが分かるかと思います。

  • ユーザーに勧めるに値する良質なコンテンツであること
  • クローラーがページにアクセスできること

これらはインデックスのための必須条件です。このどちらかが欠けていると、永遠にインデックスされることはありません。

インデックスされない理由を探る

先ほども述べた通り、インデックスされない理由は低品質コンテンツとクロールの失敗によるものがほとんどです。しかし、さらに突き詰めれば、metaタグやサイトマップの記述、サーバーなど、様々な要因が考えられます。

そこで、まずはインデックスされない理由がどこにあるかを、Search Consoleを使って調べていきましょう。

URL検査でステータスを確認する

ページのインデックス状況を把握するには、Search Consoleの「カバレッジのステータス」が一番のヒントになります。

カバレッジのステータスは、Search Consoleで画面上部の「URL検査ツール」にURLを打ち込むことで確認できます。

Search ConsoleのURL検査ツール

検査すると以下のような画面が表示されます。この”カバレッジ”の隣に表記されている”ページにリダイレクトがあります”の部分がステータスに当たります。

サーチコンソールのURL検査結果

カバレッジレポートは更新が遅い

ちなみに、カバレッジレポートからステータスと該当URLを一覧で確認することもできます。

Search Consoleのカバレッジレポートの詳細画面

しかし、カバレッジレポートはリアルタイムの情報ではなく、数日に一度ぐらいしか更新されません。そのため、現在のステータスとは異なる場合もあり、実際はインデックスされていたということもしばしばあります。

ですので、ざっと確認するときはカバレッジレポート、正確に状況を把握する際はURL検査ツール、といった具合に使い分けるのがオススメです。

各ステータスの意味と原因

ステータスが分かったところで、そのステータスの内容を確認していきましょう。

ステータスは大きく分けて4つのステータスタイプに分類されます。

  • エラー:システム(メタ)的な問題がありインデックスされていない
  • 有効(警告あり):インデックスはされたが、何らかの問題がある
  • 有効:問題なくインデックスされている
  • 除外:インデックスしない方がいいと判断された、もしくは判断待ち

ここからはSearch Consoleヘルプの情報にもとづき、タイプ毎にステータスの意味を紹介していきます。自分の該当するステータスを確認しましょう。

エラー

「エラー」は、何らかの問題があってインデックスを完遂できなかったという状態です。

インデックス登録をリクエストしたページやサイトマップに記載されたページに対して、クローラーがアクセスできなかった場合に発生します。

ステータス主な原因
サーバーエラー(5xx)サーバーの移転作業、サーバーの過負荷などでアクセスに失敗した。または、記事の下書き(プレビュー)を送信した。
リダイレクトエラーページのリダイレクトに失敗している。
リダイレクト処理の記述が間違っていることも。
送信されたURLがrobots.txtによってブロックされましたrobots.txtにクローラーを拒否する記述があるページを送信した。
送信されたURLにnoindexが追加されていますnoindexが付与されたページを送信した。もしくは、インデックスしたくないページがサイトマップに記述されている。
送信されたURLはソフト404エラーのようです404以外のステータスのページを送信した。
.htaccessの記述ミスなど。
送信されたURLが未認可のリクエスト(401)を返しましたログインしないとアクセスできないページを送信してしている。
送信されたURLが見つかりませんでした(404)送信されたページが削除されていた。もしくは、クロール時に非公開になっていた。
送信されたURLが403を返しました特定のIPからしかアクセスできないページを送信した。
他の 4xx の問題が原因で、送信された URL がブロックされましたその他の理由でクローラーがアクセスできないページを送信した。
※「送信」はインデックスの登録リクエストのことをいいます

有効(警告あり)

「有効(警告あり)」は、インデックスはされたが問題があるという場合のステータスです。緊急性はないものの、早めの対処が求められます。

ステータス主な原因
robots.txt によりブロックされましたが、インデックスに登録しましたrobots.txtでクロールを禁止にしているページが、何らかの理由でクロール(インデックス)できてしまった。
インデックス登録済みページ(コンテンツなし)クロール時にコンテンツの中身を読み取れなかった。
ユーザーとクローラー相手に別々のコンテンツを表示している。

有効

「有効」は正常にインデックスされた状態を表すステータスです。
インデックスを外したい場合を除けば、何も対処する必要はありません。

ステータス主な原因
送信して登録されました正常にクロールとインデックスが完了した。
インデックス登録されましたが、サイトマップに送信していませんインデックスされたが、送信済みのサイトマップからは見つけられなかった。

除外

「除外」は、エラーではないがインデックスはしていないという状態です。
意図的にインデックスを禁止しているページもここに含まれるため、全てに対処が必要な訳ではありません。

ステータス主な原因
noindexによって除外されました正常にnoindexタグが機能しており、インデックスされていない。
ページ削除ツールによりブロックされましたURL削除リクエストにより、正常にインデックスが外れている。
robots.txtによりブロックされましたrobots.txtの記述により、クローラーのアクセスを禁止している。
未承認のリクエスト(401)が原因でブロックされました特定のユーザーしかアクセスできないようにしている。
送信されたURLはソフト404エラーのようです存在しないページが404以外のステータスになっている。
.htaccessの記述ミスなど。
クロール済み – インデックス未登録コンテンツ内容がインデックスの基準を満たしていない。もしくは、現在インデックスへの登録中である。
検出 – インデックス未登録クローラーがページの存在を把握しているが、まだクロールされていない。
代替ページ(適切な canonical タグありcanonicalタグによって他のページを正規ページに指定している。
重複しています。ユーザーにより、正規ページとして選択されていません同じ内容のページが存在するが、canonicalタグで正規ページが指定されていない。
重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されましたcanonicalタグを無視して、他のページを正規ページと判断した。
見つかりませんでした(404)既にページが削除済みである
ページにリダイレクトがあります他のページにリダイレクトしている。
ソフト404存在しないページに404以外のステータスコードが指定されている。
重複しています。送信された URL が正規 URL として選択されていませんcanonicalタグで指定した正規ページ以外を送信した。
アクセスが許可されていないため、ブロックされました(403) 特定のIPからしかアクセスできないように設定している。
その他の 4xx の問題が原因でブロックされましたその他のサーバーエラーにより、クロールがアクセスできなかった。

たくさんある「重複しています。~」のステータスは、同じサイト内のページを複製した際などに発生するものであり、パクリとはまた別の問題です

例外ステータス

正確にはステータスではありませんが、例外的に「URLがGoogleに認識されていません」と表示されることもあります。

これはサイトマップに記述がない、内部リンクがない、などの理由でクローラーが発見(検出)できていない状態です。まずは発見してもらう必要があるので、インデックス登録のリクエストを行いましょう。

インデックスされない時の対処法

原因を突き止めたら、ステータスに合わせて対処していきましょう。

  • クロール済み – インデックス未登録:コンテンツを修正する
  • 検出 – インデックス未登録:クローラビリティの向上
  • 重複しています。:canonicalタグの使用、リダイレクトやページの統合
  • その他のステータス:システム面の対処、クローラーの制御

「クロール済み – インデックス未登録」の対処法

「クロール済み – インデックス未登録」は、クロールが正常に行われた結果、インデックスされなかったという状態です。つまり、システム面に問題はなく、コンテンツ内容に問題があると考えられます。(ラグなどの例外あり)

だとすれば、対処法はコンテンツの修正(リライト)しかありません。

しかし、やみくもに修正をしても徒労に終わる可能性があります。インデックスの基準を満たすためには、品質ガイドラインに沿って以下の要素を意識して修正を行いましょう。

  • 独自性がある
  • 十分な情報量がある
  • タイトルと中身が一致している

そして、上記の要素全てを満たすために、キーワードに沿った情報量を増やしましょう。身も蓋もないことを言えば、ボリュームがある記事はインデックスされます。(もちろん、自動生成は論外ですが)

特にサイドバーやフッターがあるブログは、情報量が少ないほど重複率が上がり、独自性(オリジナリティ)が失われます。これを回避するためにも、十分な文字数を書くようにしましょう。

さらに詳しく知りたい方は、こちらの記事を参考にしてください。

「検出 – インデックス未登録」の対処法

「検出 – インデックス未登録」はクロールが来ていないという状態です。

そのため、クローラビリティを向上させることが、最も効果的な対処法となります。不必要なクロールを削り、絶対的なクロール数を増やすようにしましょう。
※クローラビリティ:クロールのしやすさ、クローラーに優しい設計

具体的には、以下のような施策が有効です。

  • 不要なページを削除・noindexにする
  • 内部リンクを貼り、巡回しやすいサイト設計を行う
  • 被リンクを獲得してクロールの絶対数を増やす

上記に加えて、URLの変更やIndexing APIの使用(悪用)も効果がありますが、あくまで一時しのぎの対処法に過ぎません。クローラーの回りやすいサイトを設計することこそが、根本的な解決につながります。

また、2021年現在はクロールが来なくて悩む人は多くいます。あまり気に病まず、やることをやったらどっしりと構えてクロールを待ちましょう。

「検出 – インデックス未登録」についてはこちらで詳しく解説しています。あわせてご覧ください。

「重複しています。」の対処法

「重複しています。」から始まるステータスは、サイト内にURLの違う類似したページがあるという忠告です。

主に複製したページ、ページネーション(ページ分割)されたアーカイブページ、wwwや暗号化の有無などによって発生します。記事内容が多少似ていても、タイトルタグなどが違うページは該当しません。

正規ページが存在しないとSEOの評価が分散してしまうので、以下の方法を参考に正規化(正規URLの指定)を行いましょう。
※正規ページ:インデックス・評価してほしいメインのページ

canonicalタグを設定する

canonicalタグを使用して正規化を行う方法です。
正規ページを指定することで、どのページをインデックスしてほしいかをクローラーに伝えることができます。

canonicalタグの設定は、All in One SEO PackやSEO SIMPLE PACKなどのプラグインを使えば、簡単に設定できますよ。

指定するページ(URL)は個人の判断にゆだねられますが、ページが多数存在するアーカイブページ(記事一覧)の場合は、1ページ目のURLを正規ページに指定するのが一般的です。

ちなみに、ページの前後関係を表す“rel=next,prev”のタグはサポートが終了しています。特別な理由がない限り、使用するのは控えましょう。

正規化したいページへリンクを送る

「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」の場合は、canonicalタグが無視されて他のページが正規ページに指定されています。

Googleは被リンクなどの要素も加味して正規ページを判断するため、正規化したいページへリンクを送るようにしましょう。もちろん、外部からのリンクが一番望ましいのですが、内部リンクでも十分に効果はあります。

301リダイレクトを行う

wwwのサブドメインや暗号化前のhttpに同じページがある場合は、正規化したいURLへリダイレクトを行いましょう。

現在はhttp~のURLだとブラウザが警告を出すこともあるため、httpはhttpsへのリダイレクト(暗号化)を確実に行いましょう。(wwwの有無はどちらでも構いません)

プラグインのRedirectionであれば、サイト全体のwwwやhttpページを一括でリダイレクトできるので、WordPressユーザーは有効活用しましょう。

その他のステータスの対処法

その他のステータスについては、そのページがインデックスさせたいページかどうかで対応が異なります。

  • インデックスさせたいページ:robots.txtやmetaタグ、.htaccessなどの記入ミスを修正
  • インデックスさせたくないページ:サイトマップに記述がないか確認

インデックスさせたいページの場合

・metaタグなどの記述ミスがないか確認

最も多いのがmetaタグの設定ミスやrobots.txt、.htaccessの記述ミスです。

エラーが出ている場合は、noindexが付いていないか、クロールをブロックする記述がないかを確認しましょう。ステータス毎にどの記述を修正するかは、こちらを参考にしてください。

おすすめの参考ページ:サーチコンソールのクロールエラー対処法

・サイト全体にnoindexが付いていないか確認

WordPressの表示設定には「検索エンジンでの表示」という項目があり、ここにチェックが入っているとサイト全体にnoindexが付与されてしまいます。

WordPressの表示設定の「検索エンジンでの表示」

意外とやってしまいがちなミスなので、思い当たる方は確認しておきましょう。

ブログ立ち上げ初期の人は特に注意!

インデックスさせたくないページの場合

前提として、インデックスの拒否はrobots.txtによるクロール制御よりも、noindexのタグを設置した方が確実です。noindexが付与した上で、以下の対処を行いましょう。

・除外ステータスなら問題なし

インデックスさせたくないページ、noindexを付与したページが除外ステータスである場合は、特に対応する必要はありません。

・サイトマップから該当ページを除外する

エラーステータスの場合は、該当ページがサイトマップに記載されていないか確認しましょう。サイトマップにURLの記載があると、自動的にインデックスが申請されてエラーになってしまいます

確認方法は、ブラウザの検索窓に「https://example.com/サイトマップ名」と入力するだけです。サイト名はXMLサイトマップなら”sitemap.xml”、RSSフィードなら”feed”などになっていると思います。

また、XML Sitemaps(旧:Google XML Sitemaps)を使用している方は、プラグインの設定を確認してみましょう。

まとめ

SEOでアクセスを稼ぐ上では、インデックスというのは第一の壁となります。

ブログ立ち上げ初期はなかなかインデックスされず焦ることも多いかと思いますが、原因をひとつずつ潰していけば必ずインデックスされる日が来るはずです。

インデックスされなくても腐らず、時間をかけてでも確実に対処をしていきましょう。

目次
目次
閉じる