インデックスされない・消えたことへの下人と対処法を解説してみました インデックスされない・削除された時の原因と解決方法を紹介します!

【監修】株式会社ジオコード SEO事業 責任者
栗原 勇一

※こちらの記事は「トップページがインデックスから削除された!?」を2022年4月12日に更新した記事です。

Webサイトは、Googleに見つけてもらわなければ検索結果に表示されません。
見つけてもらうだけでは不十分で、インデックスしてもらって初めて評価対象となります
今回はそんな「インデックス」について、起こりうる問題と解決方法をお伝えします!

なお、インデックスされない問題と解消方法について解説した資料もあります。
こちらもあわせて、ご覧ください。

>> 【無料資料ダウンロード】“インデックスされない”問題の解消方法

SEO経由からコンバージョン獲得までをしっかりと追う成果追求型SEO!SEOサイト無料調査実施中

インデックスとは

インデックスを説明するにあたり、Googleがどんな方法で検索結果を作っているか説明します。
また、インデックスの「確認方法」と「申請方法」も先に説明しておきます。

クロールとインデックスの仕組み

クロールとインデックスの仕組み

Googleは下記の手順で検索結果を作成します。

1.Googleがクローラーというプログラムで全世界のサイトを巡回
2.巡回したページのデータを(整理整頓しながら)データベースに格納
3.検索ワード(クエリ)とマッチしたページをデータベースから選んで表示

この2番目がインデックスです。
インデックスされていないページは、検索結果に表示されません。

順位が上がらないどころか、検索結果に表示されませんので「前提条件」になりますね。

インデックスの申請方法

インデックスは、基本的には自動で行われます
ですが、Googleに対してインデックスを促す方法が用意されています。
詳細はここでは説明しませんが、下記2点の方法があります。

  • GoogleSearchConsoleでindex申請
  • sitemap.xmlを作成し、アップロードする

インデックスされているかの確認方法

以下の記述を検索窓に入力し、検索してみてください。

①:site:https://www.geo-code.co.jp/seo/mag/
②:site:https://www.geo-code.co.jp/seo/mag/basic/searchconsole/

①はディレクトリ単位での検索で、下層にあるページも表示できます。
②はURL単位での検索なので、該当ページのみが表示されます。

※以下のような結果が表示されるはずですね。

site:の検索結果

検索窓に「site:確認したいURL」を入力すると、インデックスされているページを検索結果に表示できます。
知らなかった方は、試しにURLの部分をご自身のサイトのURLに変えて検索してみてください。

もし下記のように「一致する情報は見つかりませんでした」と表示されたら要注意です。
インデックスに何らかの問題が発生している可能性があります。

※画像は説明のために存在しないURLで検索しています。

「一致する情報は見つかりませんでした」の検索結果

インデックスされないと検索結果には表示されません。
SEOにおいて、影響が大きいことは明白です。

次のセクションで主な原因と対処法を解説します。
インデックス周りでお困りの方は、参考にしてみてください。

インデックス問題の原因と対処法

インデックスの問題は「インデックスされない」「インデックス削除」の2つが考えられます。
それぞれ、主な原因と対処法を解説します。

「インデックスされない」原因と対処法

インデックスされない主な原因は、「クロールの設定」か「サイトの構造」にあります。

robots.txtの設定(クロール拒否/アクセス制限)

■問題となる原因
誤った設定により、クローラーがページを巡回できなくなってしまう

■対処法・解決策
robots.txtの記述を見直し、誤りがあれば修正する


robots.txtはクローラーに指示を出すファイルです。
クローラーがサイトを訪れた際、最初にこのファイルを読み込みます。
「disallow」という記述で、「クロールしない」指示をクローラーに与えられます。

簡単に記述の説明をしておきます。
下記はrobots.txtの記述の一例です。

User-agent: *   …これは気にしないで大丈夫です

Disallow: /     …全ページを巡回しなくなります

Disallow: /abc/   …「http://〇〇.jp/abc/」以下のページを巡回しなくなります

Disallow: /abc/def.html   …「http://〇〇.jp/abc/def.html」を巡回しなくなります

記述の右側に書いてあるページやディレクトリへのアクセスを禁止できるわけですね。
クロールして、ページに辿り着けなければ、当然インデックスもできません。
設定する際は、誤りがないか注意が必要です。

※robot.txtについてはこちらの記事で詳しく解説しています。ぜひ参考にしてみてください。

robots.txtの書き方と確認方法
記事robots.txtとは?作り方・書き方・確認方法を解説します

noindexの設定

■問題となる原因
誤った設定により、ページをインデックスしないように指示してしまう

■対処法・解決策
記述を削除する


<head>タグ内に「noindex」を指定することで、該当ページをインデックスさせない設定が可能です。
記述は下記になります。

<meta name=”robots” content=”noindex”>

上記の「noindex」を記述したページは、インデックスされなくなります
意図的に制御しているなら問題ないですが、そうでないなら記述を削除しましょう。

※noindexはこちらの記事で解説していますので、よろしければご覧ください!

noindexを活用してインデックスを制御しよう!
記事SEOで重要なnoindexとは?活用してインデックスを制御しよう

canonicalの設定

■問題となる原因
誤った設定により、評価してほしいページを評価対象から外してしまう

■対処法・解決策
canonicalの記述を修正 or 削除する


canonicalは、評価対象URLを指定・統一(正規化と言います)するタグです。
一般的にはコンテンツ内容が類似・重複しているページに対して使用します。

※こんな感じのイメージです

URL正規化とは

canonicalは、<head>タグ内に以下の記述をすることで設定できます。

< link rel=”canonical” href=”http://www.〇〇.com/” />

「href=””」に書かれているURLが評価対象のURLになります。
URLを間違えると、「別のURLを評価して下さい!」とGoogleに伝えることになります

URLを正しい内容に修正するか、指定が不要なら削除しましょう。

※canonicalはこちらの記事で解説していますので、よろしければご覧ください!

canonical属性の意味と使い方
記事canonical属性の意味と使い方 – SEOに適したURL正規化設定

対象ページへのリンクの設定

■問題となる原因
クローラーがページを発見するための条件が整っていない

■対処法・解決策
リンクの追加・xmlサイトマップへのURL追加


インデックスしてもらうためには、クローラーが該当ページを発見しなくてはなりません。
クローラーが発見する主な手段は、リンクを辿る・xmlサイトマップを読むの2つになります。

リンクもなく、xmlサイトマップにも情報がないと、発見できずインデックスもされません。

重複ページが存在する

■問題となる原因
意図しない重複ページが生成されてしまっている

■対処法・解決策
重複ページの削除、重複ページの正規化、重複ページの転送設定

例えば、コンテンツが全く同じ下記3URLがあったとします。

①:site:https://〇〇.jp/index.html
②:site:https://〇〇.jp/index2.html
③:site:https://〇〇.jp/index3.html

評価してほしいURLは①なのに、②がインデックスされてしまう可能性があります。
※結果①はインデックスされない

CMS(システム)によるページの自動生成など、重複が発生している場合は注意しましょう。
評価してほしいページがクロール/インデックスされるよう処理が必要です。

重複ページが生成されないようにするのがベストですが、難しい場合は前述の「canonicalによる正規化」などで対処しましょう。

「インデックス削除」の原因と対処法

Googleが定めたガイドラインに違反すると、ペナルティを受ける可能性があります。
ペナルティーを受けると、大幅な評価下落や、インデックス削除もありえます。

Googleからのペナルティー

■問題となる原因
Googleが定めたガイドライン違反を違反している

■対処法・解決策
原因を究明し、改善する


Googleのペナルティーには「手動」と「自動」の2種類があります。

●「手動」のペルティ
Google社員の目視によるペナルティで、多くの場合は重いマイナスが発生します。


●「自動」のペナルティ
プログラムによるペナルティで、「手動」と比較すれば影響は弱い傾向にあります。

ペナルティーを受けてしまった場合、原因の確認と改善が必要です。
「手動」の場合はSearchConsoleに通知が届くので、確認することができます。
「自動」の場合は通知がありませんので、考えられる可能性を修正していきましょう。

ペナルティーを受けないためには、Googleガイドラインに沿ったサイト運営が必要です。
ペナルティを受け、知識を持った人がいない場合は、専門家に頼ることをオススメします。
課題の早期発見や運用方針を相談できますし、ノウハウの吸収もできます。

※一例ですが、品質に関するガイドラインでは以下の項目が紹介されています。

・コンテンツの自動生成
・リンク プログラムへの参加
・オリジナルのコンテンツがほとんどまたはまったく存在しないページの作成
・クローキング
・不正なリダイレクト
・隠しテキストや隠しリンク
・誘導ページ
・無断複製されたコンテンツ
・十分な付加価値のないアフィリエイト プログラムへの参加
・ページへのコンテンツに関係のないキーワードの詰め込み
・フィッシングや、ウィルス、トロイの木馬、その他のマルウェアのインストールといった悪意のある動作を伴うページの作成
・構造化データのマークアップの悪用
・Google への自動化されたクエリの送信
・次のような望ましい行動を習慣付けます。
・サイトがハッキングされていないかどうかを監視し、ハッキングされたコンテンツを見つけたときはすぐに削除する
・サイトにユーザー生成スパムが掲載されないようにし、見つけたら削除する

引用: Google 品質に関するガイドライン

ペナルティーを受けている中古ドメインの使用

■問題となる原因
過去にマイナス評価を受けた中古ドメインを使用している

■対処法・解決策
中古ドメインを使わないようにする、使ってしまった場合はペナルティを解除する


誰かが使用しているドメインは、期限が切れれば購入できます。
前の人が使っていた訳なので、大抵の場合Googleからいくらかの評価があります。

ですが、中古ドメインの使用は推奨しません

中古ドメインは、過去にペナルティーを受けている可能性があります。
場合によっては「スタートと同時にマイナス評価」になりますし、リカバリーが効く保証がありません。

また、掲載するコンテンツが変われば、いずれ評価は更新されます。
想定されるリスクと得られるリターンを考えると、推奨することはできません。

インデックスの確認事項(チェックリスト)

インデックスさせるための確認事項をおさらいしておきます。
考えられる主な原因を一覧にしてありますので、確認にお役立てください。
※もちろん「原因のすべて」ではないので、予めご了承ください。

●「インデックスされない」問題のチェックリスト

項目 原因 対処法
robots.txtの設定 disallowにより、クローラーのアクセスをミス制御してしまっている。 不要ならdisallowの記述を削除、必要ならクロール制限対象ページを正しく指定しなおす。
noindexの設定 評価してほしいページの<head>内にnoindexを記述している。 noindexの記述を削除する。
canonicalの設定 意図とは違うページを評価対象に指定(正規化)している。 canonicalで指定しているURLを修正するか、不要ならcanonicalを記述ごと削除する。
該当ページ発見経路 評価対象ページへのリンクやsitemap.xmlの記述がなく、クローラーが発見できない。 リンクを追加する。
sitemap.xmlを作成、すでにある場合は対象のページを追記する。
重複ページ 重複ページが生成されている。
システム(CMS)が原因の可能性もある。
可能なら重複ページを削除し、生成されないように処理する。できない場合はcanonical等で、評価対象を明確にする。

●「インデックス削除」問題のチェックリスト

項目 原因 対処法
Google
ペナルティー
Googleのガイドライン違反をしている。 手動の警告の場合は、違反している内容を確認して修正。
自動の警告の場合は、原因を調べて修正。
ペナルティー対象の
中古ドメインの使用
過去運用内容が不明な中古ドメインの購入・使用。 最初から中古ドメインは使用しない。
既にペナルティを受けている場合、対処法は「Googleペナルティ」と同じ。

まとめ

インデックスの問題は影響が大きく、大抵のケースで修正の優先度が高くなります。
また、原因不明のペナルティーといった項目を除けば、比較的修正難易度は低いことが多いです。
ご自身のサイトにSEOを実施する際は、真っ先に確認・修正するようにしましょう。

クロールとインデックスは、基本的には何もしなくても行われます。
(後ろめたいことに心当たりがなければ)設定ミスが考えられますので、こちらの記事で紹介した内容を確認してみてください。
※それでもわからなければ、是非ご相談ください。

インデックスを削除されてしまった場合は、削除された日を起点に「実施した施策」と「実施日」を確認してみましょう。
解決の糸口が見つかるかもしれません。

また「対応方法が分からない」「自分でやるのは難しい」とお悩みの方には
実装も可能なジオコードのSEOがおすすめです!