「検出-インデックス未登録」が頻出する時の対処法|インデックスされないを解決

※最終更新日:2021年11月28日

この記事にたどり着いたあなたは新規記事・ページがインデックスされずに悩んでいますね? 新規の記事が「検出-インデックス未登録」に入れられてしまい、新たな集客ルートを構築できずに困っていることだと思います。

私も2021年5月頃から新規記事が「検出-インデックス未登録」になり悩んできましたが、現在では大方解決済みです。

ということで、これまでの検証結果とリサーチをもとにして、最近話題の「検出-インデックス未登録」について知り得る限りを解説していきます。新情報もまとめているので、ぜひ最後までご覧ください。

ざっくりまとめると…
  • 原因
    • クロールされていないから
    • コンテンツの質とは関係がない
    • 世界的にクロールの数が減っていることに起因するかも
    • 自然なクロールが少ないサイトほど発生しやすい
  • 対処法
    • 気にせずに放置しても良い
    • クローラビリティを向上させる
    • URLの変更やIndexing APIも一時的対処としては有効
目次

「検出-インデックス未登録」とは?

まず初めに「検出-インデックス未登録」というステータスについて解説します。

「検出-インデックス未登録」は、クローラーがサイトマップ(sitemap.xmlやfeedなど)やリンクを通してページの存在を把握しているが、インデックスはまだしていないというステータス。
つまるところ、クロール待ちのことです。

クロールが行われていない、というのがポイントなので覚えておきましょう。

エラーではない

勘違いしている方も多くいるのですが、「検出-インデックス未登録」自体はエラーではありません。それを説明するためにも、ここで改めてインデックス登録までの流れを確認しておきたいと思います。

ページが検索結果に表示されるには「クロール→インデックス」という過程を経なければなりません。その流れにサーチコンソールのカバレッジステータスを加えると、以下の図のようになります。

インデックスまでの流れとカバレッジのステータスの関係性

図を見て分かる通り、「検出-インデックス未登録」はインデックスの前に必ず経由する”クロール待ち“です。つまり、どんなページも一度は経由するステータスになります

「検出-インデックス未登録」になっているのが新規ページばかりなのはこのためです。もちろん、一度インデックスされたページが逆行して「検出-インデックス未登録」に変わることもありません。

「クロール済み-インデックス未登録」との違い

「検出-インデックス未登録」と「クロール済み-インデックス未登録」は同じ除外ステータスではありますが、その中身は全く異なるものです。

  • 検出-インデックス未登録:クロール待ち、修正の必要なし
  • クロール済み-インデックス未登録:クロールされたが内容に問題がある、修正の必要あり(例外あり)

「検出-インデックス未登録」はクロール前のステータスです。検索エンジンからの評価を受けていないため、現時点でコンテンツを修正する必要はありません。

対して、「クロール済み-インデックス未登録」はクローラーが内容を見た上で「インデックスしない」と判断された状態です。Googleから既に「価値なし」と言われているわけなので、当然コンテンツを改善する必要があります。

二つともよく見かけるステータスではありますが、発生時の対応は大きく異なります。くれぐれも混同しないように注意しましょう。「クロール済み-インデックス未登録」についての詳細は、こちらの記事で解説しています。

「検出-インデックス未登録」が頻出する現象

インデックス未登録に悩む女性

前項でもお話しした通り、「検出-インデックス未登録」それ自体はエラーでもなんでもありません。

しかし、ずっと「検出-インデックス未登録」から変わらないのは問題です。このステータスはインデックスまでの経由点なので、そこで止まってしまうといつまで経っても検索結果に表示されません。

以前はインデックス登録申請をすればすぐにクロールされたため、そんな現象を見ることは滅多にありませんでした。

しかし、2021年5月~8月頃より、急にクロールさくなったずと嘆くサイト運営者が続出しています。

問題に直面しているサイトの傾向

TwitterなどのSNSやはてなブックマークなどを通して確認したところ、今回のインデックスに関する問題に直面しているサイトの多くには以下のような共通点がありました。

  • 運用歴が浅く、アクセスは少なめ
  • 被リンクが少ない
  • ペナルティは受けていない
  • 2021年の夏以降「検出-インデックス未登録」が増加

どのサイトも同様に2021年の夏ごろから発生しています。これはGoogleのアルゴリズムやシステムになんらかの変化があったということでしょう。そして、(誤解を恐れず言うなら)弱小サイトほどこの問題に直面している傾向があります。

世界的にクロールの数が減少している(11月25日追記)

「検出 – インデックス未登録」はクロール不足に起因するものです。そのため、全体的なクロールの数が減れば、当然発生する確率が上がりますよね。

SEOに関する情報メディアのSearch Engine Journalは、11月16日に以下のような記事を公開しました。

原文が英語なので、内容をかいつまんで説明します。

  • クロール数減少を示す明らかな証拠が、多くのサイト運営者によってSNSに上げられている
  • 大規模サイトでも同様にクロール数の減少が確認されている
  • クローラーの開発者であるSeolyzerも、11/11からクロール数が劇的に減少していることを報告
  • 304を返す(未更新の)ページにクロールが来ない傾向にある

翻訳:Googlebotがストライキ中だ! Googlebotは11月11日午後6時以降、多くの大規模サイトでクロール活動を大幅に縮小している。これは議論が必要だ!

(追記)
後日、Googleのジュン・ミューラー氏もこの現象を認め、現在調査をしているとのこと。なお、クロールは17日遅くから戻りつつあるようです。

以上の事例からも、クロールに何かしらの問題や変化が起こっていることが分かります。これが検索エンジン側の問題であるならば、インデックスについては時間が解決するかもしれませんね。

モバイルファーストインデックス(MFI)への移行

ページをインデックスするのは「クローラー」と呼ばれる巡回botが行います。クローラーはPC・モバイルの二種類があり、PC向けサイトとスマホ向けサイトの両方を巡回していました。

しかし、現在はGoogleはスマートフォンによる表示を基準にサイトを評価するモバイルファーストインデックス(MFI)へと切り替えており、2021年3月からはモバイル(スマホ)で表示できないサイトは無視すると断言しています(参考:モバイルファーストインデックスとは?)

結果、インデックス登録を行う役割がモバイルクローラーだけに任され、クローラー不足からインデックスも遅くなっていると考えることもできます。

サイトが移行済みかは関係ない

サーチコンソールのカバレッジや設定を見れば、自分のサイトの「メインクローラー」を確認することができます。メインクローラーがモバイルであればMFIへ移行済み。PCであれば移行されていないことになります。

「MFIへ移行されていないからインデックスが遅いのではないか」という疑問もよく見かけますが、アンケートを取ったところ大きな差は確認できず。サイトがMFIに移行しているかは関係ないように思われます。(票数は少ないですが..,)

しかし、因果関係はなくても、MFIへの全体的な移行がクローラー不足をまねき、”間接的に”今回の減少を引き起こしている可能性は否定できません。ちなみに、MFIへの移行は順次行われているため、サイト側はモバイル表示できるようにしておけば問題ありません。

ペナルティを受けている可能性も

サイト側に問題があるとすれば、何らかの理由(重複コンテンツ・スパム行為)でペナルティを受けているというパターンです。ペナルティを受けていると、クローラーが来ないということも起こり得ます。

ペナルティには二種類あり、「手動ペナルティ」と「自動ペナルティ」というものがあります。

手動ペナルティを受けているかの確認はすごく簡単で、サーチコンソールの「手動による対策」をクリックするだけです。(サイドバー > 「セキュリティと手動による対策」を展開 > 「手動による対策」をクリック)

自動ペナルティはツールから判断することができないため、以下の3点から自分で判断するしかありません。

・キーワードチェックツール(CRCなど)でキーワードが大量に飛んでいないか
・サーチコンソールの検索パフォーマンスが極端に落ちていないか
・Googleアナリティクスでアクセス数が落ち込んでいないか

原因まとめ:クロールのリソース不足か?

MFI移行によるクローラーの減少、ブロガーの増加、タイトル改変によるリクエスト増加など、クローラーへの負担は大きくなっているのは事実。それに伴ってか、全体的にクロール数が明らかに減少しています。
※Googleが検索画面上のタイトルを自動で書き換えるようになった

以上をまとめると…

Googleのクロール数が減少したことにより、「インデックス登録リクエスト」はほぼ機能しなくなり、自然なクロールの少ない弱小サイトはインデックスが遅くなった。

(ペナルティを除けば)サイト側に非があるわけではないので、「時間が解決してくれるだろう」と気楽に構えるのがいいでしょう。

今後も情報収集はしていきます

よく言われる間違った原因

「検出-インデックス未登録」のよく言われている間違った原因

「検出-インデックス未登録」自体は昔からあるステータスなので、情報はたくさんあります。しかし、的外れなものが多いのも事実です。

以下のような原因がよく挙げられていますが、これらをアテにしても徒労に終わる可能性が高いので注意してください。

  • コンテンツの質が低い、重複している
  • サーバーの過負荷を避けるため
  • 技術的(プログラム的)な問題がある

コンテンツの質が低い・重複している

先ほども解説しましたが、「検出-インデックス未登録」はクロールを待っている状態。クローラー(Google bot)がサイトマップなどでタイトルや更新日は把握しているものの、コンテンツの内容自体は把握されていません。

よって、コンテンツの質や重複はこの問題とは無関係。コンテンツを修正すれば「検出-インデックス未登録」が解決する訳ではありません

おそらく「クロール済み-インデックス未登録」と混同して生まれた通説のひとつなので、あまり気にしなくてもいいでしょう。

検証:50文字と4000文字の記事で比較

ここからは「明らかな低品質記事はクロールされないのか?」という検証になります。

検証内容

・4000文字の記事Aと、50文字の記事Bを用意する
・Aはサイトテーマに沿ったキュレーション記事(アダルト商品を色々と紹介)
・Bはその日の晩ごはんのメニュー
・Aは7/8に公開してインデックス登録をリクエスト
・Bも7/9に同じように公開してリクエスト

結果

・記事A(4000文字)は「検出-インデックス未登録」
・記事B(50文字)はインデックスされた

考察

明らかに低品質な記事Bが「クロール済み-インデックス未登録」にならなかったのは意外でしたが、少なくとも記事の質はクロールには関係しない。つまり、記事の質は「検出-インデックス未登録」と無関係であるということが改めて分かります。

新規サイトはインデックスされにくい

これは二通りの捉え方ができます。

  • 新規サイトのため、そもそもクローラーが発見できていない
  • アクセスが少ないためインデックスを控えめにされている

前者であればサーチコンソールへの登録で解決します。

後者の場合も、急にインデックスされなくなったサイトには当てはまらないはずです。少なくとも “新規サイトだから” というのが直接の要因ではなく、被リンクやアクセスの少なさなどが原因かと思います。

サイトへの過負荷を避けるため

Search Consoleヘルプにも記載のあるものです。

これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。

引用元:Search Consoleヘルプ

しかし、この一文はGoogleの担当者ジョン・ミューラー氏によって否定されています。

いや、どっちだよ

これに該当するサイトがあるとすれば、何万ものページを抱えるような巨大なサイトぐらいのものなので、ひとまず普通規模のブログやサイトであれば考慮する必要はなさそうです。

技術的な問題がある

ページに技術的な問題があってクロールが正常にできていないという説です。

しかし、その場合は「除外」の項目ではなく「エラー」に分類されるため、今回は関係ありません。

サーチコンソールのカバレッジエラー

技術的な問題の確認方法

とはいえ、技術的な問題がないか不安な人のためにも、確認方法を紹介しておきます。

サーチコンソールのURL検査から「URLをテスト」を実行してみましょう。robots.txt などにクロールを拒否する記述があると、ライブテストで何かしらのエラー表示が出ます。

サーチコンソールのURL検査結果
赤いバツ印が出ていればエラーです

エラーが出ているページは放置していても永遠にインデックスされません。もしエラーが出ているなら早めに対応しましょう。具体的な対処法や原因の探し方はこちらを参考にしてください。

間違った原因まとめ

一旦ここまでの情報をまとめます。これらはあなたの記事が「検出-インデックス未登録」になる原因にはならないものだと思ってください。

  • コンテンツの質が低い:クロール前なのでそもそも内容は関係ない。現時点ではコンテンツの修正は不要。
  • 新規サイトだとインデックスされにくい:急にインデックスされなくなったサイトは当てはまらない。
  • サイトへの過負荷を避けるため:ほぼない。あるとすれば何万ページも抱える巨大なサイトのみ。
  • 技術的な問題:問題があればエラーになるので「検出-インデックス未登録」とは関係なし

「検出-インデックス未登録」の対処法

「検出-インデックス未登録」の対処法一覧

ここからは「検出-インデックス未登録」を解消(クロールさせるため)の一時的な対処法をご紹介します。主に効果が出やすいのは「URL変更」と「Indexing API」です。

あくまでその場しのぎの対処法ですが、Googleの評価を上げてこの状況を脱するためにも、以下の対処法を駆使して新規記事をインデックスさせていきましょう。

方法1:定期的にインデックス登録をリクエスト

オススメ度:

何度も申請することで運よくクロールキュー(クロール待ちのURLリスト)に滑り込もうとする方法。

サーチコンソールでURL検査を開き「インデックス登録をリクエスト」を押下するだけ。非常に手軽でデメリットがないのが魅力です。

ただし、登録リクエストの機能自体がほとんど機能していない可能性があります。さらに2021年11月時点では、そもそもボタンを押せないという不具合も発生しています。

URL検査で「URLがGoogleに認識されていません」と出る場合には有効です

方法2:インデックスされない記事のURLを変更する

オススメ度:

URL(パーマリンク)を変更して、再度インデックスの登録申請をするという方法。

釈然としない方もいるでしょうが、最も成功報告や口コミが多く効果の高いのがこの「URLの変更」です。SEOの理屈やGoogleの主張は抜きにして、実績のある方法に従うのが最善なのは言うまでもありません。

クロールが早くなる理由は、URLを変えることによってクロールキューに再分配されるからだと思います。例えるなら、別人として整理券を再配布してもらうようなイメージです。

URLを変更することでインデックスされる理由
これは極端ですが

そのため、逆に遅くなることも十分にありえます。

しかし、効果はあるものの「リダイレクト」の除外ステータスが増える、望んだURLが使えない、などのデメリットもあります。一度しっかりと考えてから実行しましょう。

それでは手順の説明に移ります。今回は以下の二つの方法を紹介します。

1.そのままURLを変更する

・公開中の記事のURLを変更する(WordPressならパーマリンク)
・以前のURLから現在のURLにリダイレクトする
・記事を公開する
・サーチコンソールでインデックス登録の申請をする

2.新しい別ページとして公開し直す

・公開中の記事を非公開(下書き)に変更する
・URL(パーマリンク)を変更する
・タイトルを変更し、投稿日を当日にして公開
・以前のURLから現在のURLにリダイレクトする
・サーチコンソールでインデックス登録の申請をする

私の肌感覚としては一度で成功する確率は3割程度。間隔をあけて何度か行えば、8割方インデックスされます。

場合によってはリダイレクトも

注意点としては、前のURLから今のURLに必ず301リダイレクトしておくこと。Googleにはインデックスされていないけど、Bingでは上位表示できているというケースが往々にしてあるからです。

しかし、リダイレクトをすることでGoogleに同じページだと認識され、クロールキューも同じになる可能性はあります。状況に合わせてリダイレクトをしてください。

ちなみに、WordPressであればRedirectionというプラグインで簡単にリダイレクトを管理できます。301リダイレクトを使う機会は度々あると思うので、この機会にインストールしておくことをおすすめします。

2回行うと成功確率が上がる理由

WordPressの場合は、記事のURLを変えると自動でリダイレクト処理が行われます。そのため、1回目の変更ではリダイレクトが行われ、Googleが同じページとしてクロールキューを割り振っている可能性があります。

しかし、2回連続でURLを変更すると、元URLからの直接のリダイレクトはなくなります。そして、別ページとして認識される、こういう理屈かと思います。

プラグインのRedirectionならリダイレクトを自分で管理できるので、URLを2回変える必要はなくなるはずですよ。

RSSにも注意

別ページとして新規公開を繰り返す場合はRSSにも注意が必要です。

RSSを介して何度も同じ記事の更新情報が発信されるので、ブログランキング等が荒れます。RSSフィードを停止させておくか、ブログランキング側で新着情報を削除するなどして対策しましょう。

方法3:SNSなどで記事の露出を増やす

オススメ度:

アクセスの多いページはGoogleも無視できなくなります。TwitterやFacebookなどのSNSで拡散されればクローラーの目に止まりやすくなるため、クロールされる可能性が上がるはずです。

実際にSNSで拡散した記事だけインデックスされたという口コミが多少あります。また少し古い情報ですが、「ツイートが3回以上RTされるとインデックスが早くなる」という検証結果もあります。(参考:TwitterにURLを流すとインデックス化に効果があるのか?

しかし、Bing経由で多くアクセスがあるページがインデックスされなかったため、アクセスさえあれば流入元が何でも良いわけではないのかもしれません

とにかく、インデックスは別としても流入元を増やすのは良いことなので、SNSによる拡散も試してみましょう。TwitterやFacebook・はてなブックマーク以外に、Pinterestと連携しておけば放置するだけなので楽ですよ。

方法4:サイトマップ・RSSフィードを送る

オススメ度:

サイトマップをサーチコンソールで送信しましょう。
サイトマップはクローラーがページの存在を把握するための貴重な情報になります。

サイトマップ・RSSフィードの送信方法は、サーチコンソールの “サイトマップ送信” にサイトマップやRSSフィードのURLを入力するだけです。また、一度サイトマップを削除してから再度登録するもの効果があるかもしれません

Search Consoleでのサイトマップの送信

本来は一度登録しておくだけで良いのですが、念のために新規記事を追加したタイミングで送信しましょう。

また、RSSフィードも一緒に送信してみましょう。RSSフィードには最近の更新情報が記載されているので、新規記事を追加したことのアピールにもなります。

XMLサイトマップはブログに必須の機能です。もしサイトマップがないのなら、この機会に作るようにしましょう。

WordPressならXML Sitemapsというプラグインで簡単に作ることができますよ。

方法5:PubSubHubbubを導入する

オススメ度:

PubSubHubbub(パブサブハブバブ)は新しく作成したページを検索エンジンに早く認識させ、インデックスしてもらうというツールです。(早口言葉ではありません)

本来はトレンドブログなどを運営している人が、スクレイピングを防ぐ目的で使用しています。
※スクレイピング:コピー記事を先にインデックスさせ、検索エンジンにオリジナルだと誤解させる行為

効果のほどはサーチコンソールでリクエストするのと大差ありませんが、デメリットがなく手軽なので一度試してみてください

WordPressなら、プラグインのWebSubやPuSHPressをインストールするだけで実装できますよ。

方法6:Indexing APIを実装する

オススメ度:?

Googleにページの更新・削除を伝えるIndexing APIを使って、インデックスを促進するという方法。
API:異なるソフト・サービスを連携させるインターフェース

本来、Indexing APIが使えるのは求人情報・ストリーミング動画の構造化データを埋め込んだページだけです。一般的なブログ記事でも何故か機能していますが、Googleの意図しないことなので多少のリスクがあります。

しかし、インデックス促進に最も効果があったのもこの方法です。Indexing APIを紹介したところ、「解決した!」という多数の成功報告も頂いています。

以上の注意点も踏まえた上で、それでもIndexing APIを使ってみたいという方はこちらの記事を参考にしてください。

時間が解決するのを待つ

オススメ度:

正直な話、クロールが遅いだけであれば時間が解決するはずです。
精神的に楽でペナルティなどのリスクも一切ないため、個人的には一番オススメの対処法(?)です。

しかし、ただ待っているだけでは時間が無駄になります。記事をリライトしたり、有料テーマへ乗り換えたりして、サイト全体の強化を行いましょう。

パクリ対策もしておこう

Googleにとっては先にインデックスされた記事がオリジナルです。
つまり、自分記事がインデックスされていない状態で、パクリ記事が先にインデックスされれば、自分の記事がパクリ扱いされるということです

私のサイトも”アダルト”という無法地帯のジャンルであるためか、スパムサイトに記事の前半をまるまるパクられて重複コンテンツ扱いされたことがあります。

カレンダーに予定を詰め込む迷惑なスパムサイト
カレンダーに変な予定を詰め込んでくる

パクられた上に自分が悪者にされて検索結果から排除される、なんていう最悪の事態を避けるためにも、できる限りのパクリ対策をしましょう。

パクリ対策として、具体的には以下の2つをオススメします。

  • RSSの設定を変更する、もしくは廃止する
  • 右クリックを禁止する

RSSの設定変更

他人の記事をパクるサイトの90%以上が自動で運営するスパムサイトです。

そういったスパムサイトは他サイトのRSSを取得して、RSSフィードに記載されている情報を無作為に載せています。そのため、RSSフィードに記載される情報を絞ることで、ある程度パクリを阻止することができます

たとえばWordPressなら以下のような手順になります。

設定 > 表示設定 > “フィードの各投稿に含まれる内容” を「要約」に変更する

WordPressのRSS設定

これで自動パクリの対象をタイトルと要約だけに絞ることができます。要約に何も入力しなければ、パクリ対象をタイトルだけにすることも可能です。

WordPressの標準設定だと「全文表示」になっており、本文がそのままRSSフィードに記載されている状態なので、この機会にぜひ変更しておきましょう。

また、RSSを使っていないのであれば、いっそのことRSSを廃止してしまうのも良いでしょう。

右クリックを禁止する

プラグイン等を使い、ページ内での右クリックを禁止するという方法です。これで手動によるパクリをある程度防ぐことができます。

ただし、これはユーザビリティを損なう諸刃の剣。サイトを訪れたユーザーにとっては不便なだけです。人間の手によるパクリはレアケースなので、それも踏まえて右クリック禁止を実装するか考えてください。

対処法-まとめ

「検出-インデックス未登録」が多発するようなら、以下のことはやっておきましょう。

  1. インデックス登録リクエストを送る
  2. インデックスされない記事のURLを変更する
  3. SNSなどで記事の露出(アクセス)を増やす
  4. サイトマップ,RSSフィードをこまめに送信する
  5. PubSubHubbubを導入する
  6. Indexing APIを実装する
  • 放置しても時間が解決する
  • パクリ対策も余裕があれば行う

とにかく早くインデックスしてほしいなら「URLの変更」と「Indexing API」がオススメです。

ただし、やりすぎることで何らかのペナルティが発生する可能性がないとも言えません。また、インデックスの確立を上げるだけなので、過度な信用もしない方がいいでしょう。

最後に、これらはあくまで一時的な対処に過ぎず劇的な改善は望めません。この状況から脱するには、後ほど紹介するクロール数の増加を狙っていきましょう。

本当に放置で解決するのか?

ということで、今回インデックスされない問題にぶち当たった私のサイトを例にして、対策した結果を紹介します。
※当ブログではありません

事前情報としては以下の通り。2021年7月19日時点の情報です。

  • 運用歴:4ヵ月少々
  • サイトジャンル:アダルト
  • 作成ツール:WordPress
  • 仕様テーマ:SWELL
  • 手動ペナルティ:なし
  • 自動ペナルティ:確認できず
  • ドメインパワー:14.7※
    パワーランクチェックツール準拠

このサイトも例に漏れることなく、運営を始めたばかりの弱小サイトですね。

放置による「検出-インデックス未登録」の変化

まずはリライトやURLの変更などをせず、完全に放置した結果を紹介します。
対象期間:2021年7月19日~9月28日

「検出-インデックス未登録」の数:13→6
(内訳)
増加数:5
減少数:12
計:-7

実はこれ数字のマジックでして、下記のグラフを見て分かる通り7月19日以降に作られた新規ページが「検出-インデックス未登録」に5ページ追加されています。つまり、2ヵ月放置した結果12ページもインデックスされています

2021.09.28の検出-インデックス未登録の数
結論

この検証の結果、「放置していれば解決する」ということが分かると思います。
もちろん、ページの品質が悪いと「クロール済み-インデックス未登録」に振り分けられてしまう可能性がありますが、そうでない場合はインデックスされることでしょう。

それと同時に、「放置しているとインデックスに時間がかかる」という問題点があるのも分かるかと思います。


クロール数を増やしてインデックスを促進する

「検出-インデックス未登録」が解消されないのはクロールされていないから。つまり、クロール数を増やすことがこの状況を脱することにも繋がるはずです。

ということで、ここからは一時的な対策ではなく、長期的な改善法でもある「クロール数の増加方法」について解説していきます。

現在のクロール数を確認

まずは自分のサイトがどれぐらいクロールされているかを確認してみましょう。

クロール状況を調べるには、サーチコンソールの「クロールの統計情報」を見てください。
( サーチコンソールを開く > サイドバーの”設定” > クロールの統計情報 )

クロールの全体数を調べる

「クロールの統計情報」のページを開いて真っ先に目に入るのが、クロールの全体数を表したグラフです。

サーチコンソールの「クロールの統計情報」

どれだけの数があるかではなく、グラフがどのように動いているかをチェックしてみてください。インデックスされなくなった日のあたりでグラフが落ち込んでいるなら、クロールの数が足りていない可能性があります。

このグラフの場合だとクロールの数は増えているので、クロールの絶対数が不足しているわけではないと判断できます。

クロールのトラブルチェック

次に、クロールの統計情報をページを下にスクロールしてみると、クローラーの動きや結果を確認できます。

クロールの詳細情報

ここで注目したいのが「レスポンス別」の欄です。OK(200)はクロールが無事に完了したことを表すものなので、これが8割~9割を占めるなら大丈夫でしょう。

対して、見つかりませんでした(404)などが大量に出ている場合は注意が必要。URLやリンクなどになにかしら問題がある可能性があります。クリックすれば詳細を見られるので、どのページに問題があるか確認して訂正しましょう。

クロールの種類を把握する

また、「目的別」や「Googlebotタイプ別」などの欄を確認しておきましょう。

私のサイトの場合だと、目的別の「検出」が低く、「ページリソースの読み込み」のbotが多いことが読み取れます。つまり、私のサイトは「新しいページを検出するクロールが少なく、訪れるbotは補助的なものばかり」ということが分かります。
※ページのリソースを読み込む補助的なbot

ちなみに、「スマートフォン」や「PC」が一般的なクローラー(bot)であり、これが低いというのは少し変な現象です。メインクローラーがどちらかによって割合は変わりますが、ブログの場合はこの2つが大半を占めるのが普通です。

サイト運営者側で対処できるものではありませんが、自分のサイトがどう見られているかを知るためにも、一応確認しておきましょう。また用語などについては、サーチコンソールのヘルプページに詳しく記載されているので参考にしてください。

検出クロールに注目
クロールの「目的」

クローラーが巡回する目的は大きく分けて、「更新」と「検出」の二つ。「更新」はインデックス済みページの更新、「検出」はコンテンツのインデックスが目的となっており、この割合はサイトによって違います。

今回は「検出」の方に注目してください。この検出クロールが少ないと、サイトの更新にクロールが追い付かずインデックスが滞ってしまうからです。

先ほどの “目的別” の “検出”をクリックすると詳細が見れるので、グラフからクロール数の推移を読み取ってみましょう。

検出目的のクロールの推移
webpという拡張子が見えますね?

私のサイトは微妙に落ちていますね。右肩上がりである必要はありませんが、更新頻度の高いサイトなら一定の高さは保っておきたいところです。

※Googlebotが画像をクロールするの?

画像を見ると分かる通り、画像(webpファイル)もクロールされていますね?

画像はGooglebot-Imageという画像専用botがクロールするのでHTMLとは関係ありませんが、画像にリンクが付いていると画像であるかどうかの確認のためにGooglebotがリンク先を一度辿ります。

そのため、画像のリンク先がメディアページなどになっている場合は、無駄にクロールバジェットを消費している可能性があります。必要ないならメディアページへのリンクを外すことも考えてみてください。

※どうやって更新・検出の割合が決まるのか?

更新・検出クロールの割合が決まる要因の一つとして挙げられるのが、「サイト開設初期の投稿頻度」です。

サイト開設直後に頻繁に記事を投稿していたサイトは、Googleから「投稿頻度が高いサイト」として認識され、それ以降の「検出」クロールが多くなると噂されています。(あくまで一説)

ひとつ例を挙げたいと思います。これは私の運営するまた別のサイトですが、更新が61%・検出が39%という数値になっています。先ほどの更新91%・検出9%のサイトと比べると随分違いますね。

目的別のクロール割合

このサイトは検出率が高いためか、100記事ほどあるにも関わらず全記事がインデックスされています。そして、今でこそ放置していますが、たしかに開設初期は一日に5記事以上を投稿していました。

この例からも分かるように、「開設直後の更新頻度で決まる」という説は当たっている可能性があります。

ただし、評価がずっと一定だとは思えないので、後から挽回することも可能なはずです。それについては、次項で語っていきます。

全体のクロール数を増加させる

クロールの現状が把握できたところで、次はクロール数を増やす方法を考えていきます。ただし、一朝一夕で解決できるものではないので、長期的な目で見てください

クロールを増やすには、Googleに価値あるサイトだと評価されるしかありません。そのためにも内側と外側からSEO対策を行っていきましょう。

被リンクの獲得

被リンクの獲得をすることで、Googleからの評価(ドメインパワー)が上がり、クローラーが訪問するルートも増える。クロールの促進には最も効果的な方法です。

内容がぶれるのであまり詳しくは語りませんが、手段としては以下のようなものがあります。

・営業活動
・有益な記事を書く
・無料のサービスを利用して自演リンク
・自分の持っている別サイトと相互リンク
・相互リンクを申し込む
・ブログランキングやアンテナサイトの利用
・ブラックハットSEO

私はブラックハットSEOに対して肯定的なので、中古ドメインをいくつか買ってきて被リンクを当ててやるのが一番手っ取り早いと思っています。ただし、お金も結構かかるしリスクも伴うので自己責任でお願いします。

対して、「有益な記事を書く」というの微妙です。被リンクの獲得法としては最も遠回りだとさえ思います。あなたは有益な記事を読んで発リンクしてあげたことがありますか? そういうことです。

ただ、一次情報を書いておけば、いずれはリンクしてくれる人が現れるかもしれません。シコシコ書き続けるのもいいですが、長期的な戦略であることは理解しておきましょう。

内部リンクを張り巡らせる

サイトに訪れたクローラーにできるだけ多くのページを訪れてもらうために、内部リンクを張り巡らせましょう。

とはいえ、やたらめったら貼ってしまうのはユーザビリティの低下に繋がるので、あれば便利だなと思うリンクの貼り方を心がけます。

既にインデックス登録されている人気のページから「検出-インデックス未登録」のページに貼ると良いという主張も見かけます。その通りだとは思いますが、効果がすぐに表れることはないでしょう。(私は効果を感じませんでした)

「検出-インデックス未登録」とは関係ないページとも内部リンクを繋げるようにしましょう。これは今回の問題だけではなく、全体的なSEO施策としても有効です。

検出クロールを増やす

次に検出目的のクロールを増やす方法を考えます。インデックス登録はこの「検出クロール」が担当しているため、その数は重要な要素となります。

一朝一夕とはいきませんが、新しいコンテンツ(画像やページ)を次々と投下するサイトは、検出クロールの数を多く保てるようにしましょう。

投稿頻度を高く保つ

投稿頻度が高いサイトであれば、検出クロールが多くなります。投稿頻度の高さをアピールするために、RSSフィードをサーチコンソールに登録しておくのも良いでしょう。

ただし、インデックスされない状況であれば、先ほどのインデックス一時的な対処と合わせて行ってください。インデックスされていないページは、Googleにとって存在しないページとほぼ同義です。

構造化データを最適化する

構造化データ(構造化マークアップ)とは、検索エンジンへ向けたページの説明のことです。検索エンジンはこの構造化データとページ内の記述から、どのようなページなのかを把握して検索結果に表示させます。

また、構造化データはリッチリザルトを作成するためのものでもあります。一番身近なものであれば「パンくずリスト」などですね。

概要を理解する際はこちらの動画が参考になります。

そして、ここからが本題なのですが、この構造化データの「Article」を正しく記述したことで検出クロールの割合が増えたという体験談がありす。(参考:<クロールの統計情報>「検出」の数値が増加、構造化データとseoの関係)

実際に私もArticleの「author(著者情報)」を詳しく記述したところ、検出クロールが9%→11%に増加したサイトを確認しました

構造化データと検出クロールの因果関係は不確かですが、E-A-T(権威性)の重要性が叫ばれている昨今、著者情報だけでもしっかりと構造化データに記述しておくべきでしょう。

ちなみに、実装化されている構造化データはSchema Markup Validator確認できます。WordPressを利用しているのであればテーマ側で最低限の記述はしてくれていると思いますが、今一度確認しておくことをオススメします。

クロール数を促進させる方法-まとめ

それでは情報を整理します。

  • 被リンクの獲得:ドメインパワーとクローラーの流入元が増加
  • 内部リンクを張り巡らせる:色々なページとリンクを繋げる。無理なリンクはNG。
  • 更新頻度を高くする:検出クロールを増やす
  • 構造化データを記述する:検出クロールが増える可能性がある(authorだけでも詳細に記述しておくべき)

サイトがペナルティなどを受けていない限り、SEOの評価が上がれば間違いなくインデックスはされ易くなります。実際に私のサイトでも、被リンクのあるページはインデックスが早い傾向にあります。

「URL変更」などの一時的な対処とあわせて、これらの施策も行っていきましょう。

まとめ

それでは、今までの総論に移ります。

  • 「検出-インデックス未登録」はクロール待ちの状態
  • 世界的なクロール数の減少が原因だと考えられる
  • 一時的な対処法としては、URLの変更やIndexing APIの使用など
  • SNSでの記事の露出、パクリ対策なども余裕があれば行う。
  • 内部・外部リンクを増やしクローラビリティの向上に努めるのが一番

自分の記事が検索結果に載らないのって辛いですよね。インデックスされないと書けども書けども人に見られない記事が量産されるだけ。しかし、同じような壁にぶち当たって悩んでいる人は他にもいます。

今は辛いかもしれませんが、いつか報われる日を信じて、くじけず頑張っていきましょう!

引き続き調査・検証は行っています
詳しくはTwitterをご覧ください

目次
目次
閉じる