2011 年 5 月 2 日（月曜日）
ウェブマスター ツールを使って自分のサイトの状態を確認したところ、クロールエラー ページが 404 (Not found) エラーでいっぱいになっていたとします。このような場合、いったいどうしたらよいのでしょうか。
心配する必要はありません。この記事では、404 エラーと、このエラーがサイトに及ぼす影響について説明します。
Q: ウェブマスター ツールで報告される 404 エラーはサイトのランキングに影響しますか？
A: 404 エラーは、ウェブの動作としてまったく正常なものです。インターネットは常に変化しており、新しいコンテンツが作られ、古いコンテンツはなくなっていきます。コンテンツがなくなっている場合、通常は 404 HTTP レスポンス コードが返されます。検索エンジンはこのことを理解しています。上記の例のように、Google のサイトにも 404 エラーはあり、このエラーはインターネットの至るところで見られます。サイトからページが削除された場合は、soft
404 よりも、正しい 404 または 410 レスポンス コードが返されるほうが検索エンジンにとっては望ましいのです。Google のクローラーが URL の HTTP レスポンス コードを確認するためには、その URL をクロールする必要があります。そのため、該当の URL が robots.txt ファイルでブロックされていると、クロールしてレスポンス コードを確認することができません。サイトの一部の URL が存在しなくなったり、404 を返したりしても、検索結果におけるサイトの他の URL（200 (Success) ステータス コードを返すもの）のランキングには影響しません。
Q: では、404 エラーがウェブサイトに悪影響を及ぼすことはないのですか？
A: サイトの一部の URL が 404 を返しているということ自体が、サイト所有者の評価や Google の検索結果に影響することはありません。ただし、一部の 404 エラーに対しては対処が必要です。たとえば、404 を返しているページがサイトにとって重要なページである場合は、なぜクロール時に 404 エラーが出ているのか調査すべきです。URL のスペルミス（www.example.com/awesome を誤って www.example.com/awsome としている場合など）がある場合は、誰かがサイトにリンクしようとしてタイプミスをしていることが考えられます。404 を返す代わりに、301 リダイレクトを使用して正しい URL にリダイレクトすれば、そのリンクからのトラフィックを得ることができます。また、ユーザーがサイトの 404 ページにアクセスした場合、「404 Not found」とだけ表示するのではなく、ユーザーにとって便利なページを用意することもできます。
Q: 「soft 404 エラー」について詳しく教えてください。
A: soft 404 エラーとは、ウェブサーバーが、存在しない URL に対して 404（または 410）以外のレスポンス コードを返す状態を指します。一般的な例としては、サイト所有者がユーザーにとって便利な 404 ページを提供したいと考え、そのようなコンテンツを提供するには必ず 200 レスポンス コードを返さなければならないと思っている場合です。しかし、404 を返しつつそのようなコンテンツを提供することは可能です。他の例としては、未知の URL に対して 404 を返す代わりにホームページにリダイレクトしている場合があります。どちらの場合も、Google がサイトを分析してインデックスに登録するのに支障が出る可能性があるため、存在しないコンテンツに関しては適切なレスポンス コードを返すことをおすすめします。ページに「404 Not Found」と書かれているからといって、実際に 404 HTTP レスポンス コードを返しているとは限りません。ウェブマスター ツールの Fetch as Googlebot 機能を使用して、そのページを再度確認してください。サーバーが正しいレスポンス コードを返すように設定する方法がわからない場合は、ホスティング サービスのヘルプ ドキュメントをご覧ください。
Q: URL が 404、301、410 のうちどれを返すべきか判断するにはどうすればよいですか？
A: サイトからページを削除する際には、そのコンテンツを別の場所に移動するのか、それとも今後サイト内に同種のコンテンツを置く予定はないのかを考えるようにします。コンテンツを新しい URL に移動する場合は、元の URL から新しい URL に 301 リダイレクトします。これにより、そのコンテンツを求めて元の URL にアクセスしたユーザーを、目的の情報に関連するコンテンツに自動的に誘導できます。そのコンテンツを完全に削除する予定であり、そのコンテンツを求めているユーザーの要望を満たすものも一切自分のサイトに置かない場合は、ユーザーが古い URL にアクセスしたときに 404 または 410 が返されるようにしてください。現在、Google は 410 (Gone) を 404 (Not found) と同じように処理します。そのため、どちらを返してもかまいません。
Q: 404 エラーのほとんどが、サイトに存在しない URL に対するものです。
これはどのようなトラフィックで、どこから来たのでしょうか？
A: 通常 Google は、ウェブ上のどこかであなたのサイト内へ張られたリンクを検出すると、コンテンツの有無を問わずそのリンクをクロールします。その URL が存在しない場合、サーバーは 404 を返す必要があります。こういった無効なリンクが発生する理由はいくつか考えられます。たとえば、サイトにリンクしようとした誰かがスペルミスをした場合、設定ミスの場合（CMS によってリンクが自動生成されているなど）、Google のクローラーが JavaScript や他の埋め込みコンテンツ内のリンクを認識してクロールしようとした場合、サーバーが未知の URL をどのように処理するかを Google が確認しようとした場合などです。サイトに存在しない URL に対してウェブマスター ツールが 404 を報告した場合は、無視しても問題ありません。Google は、サイトにとって重要な URL と、404 を返すべき URL を判別できません。このため、サイトで検出されたすべての 404 を報告し、対応が必要かどうかはサイト所有者の判断に任せています。
Q: サイトをスクレイピングされたため、大量の 404 エラーが発生しました。「https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>」のような、実在する URL に他のコードが付け加えられたものです。これはサイトに悪影響を及ぼしますか？
A: 一般的に、このような「無効なリンク」がサイトに悪影響を及ぼすことはありません。Google は、サイト所有者側ではスクレイピングを行う者や、普通でない方法でリンクしようとする者を制御できないことを理解しています。正規表現を使いこなせる場合は、これらの URL をリダイレクトすることもできますが、通常は心配しなくても大丈夫です。また、サイトからコンテンツが盗用された確信がある場合は、著作権侵害の申し立てを行うこともできます。
Q: 先週、ウェブマスター ツールで報告された 404 エラーをすべて修正したのですが、まだ一覧に記載されています。正しく修正できなかったということでしょうか？エラーが表示されなくなるまでどれくらいかかりますか？
A: [クロールエラー] ページの [最終検出] 列をご覧ください。これは各エラーが検出された最新の日付を示しています。列の日付がエラーを修正した日より前であれば、それ以降そのエラーは発生していないことを意味します。日付が修正した日より後である場合は、それ以降もクロール時に 404 が発生していることになります。
修正後に Fetch as Googlebot を使用すると、クローラーが新しいレスポンス コードを認識できているかどうかを確認できます。いくつかの URL でテストして問題がなければ、それらはクロールエラーの一覧から消えていくはずです。
Q: アカウントから 404 エラーを早く消去するために、Google の URL の削除ツールを使ってもよいですか？
A: URL 削除ツールは Google の検索結果から URL を削除するためのものであり、ウェブマスター ツールのアカウントから削除するためのものではありません。404 を返すページはいずれ検索結果には表示されなくなるため、緊急の削除要請用のツールを使う必要はありません。URL 削除ツールを使用すべき場合とそうでない場合について詳しくは、このブログ投稿の後半をご覧ください。
404 エラーについてさらに詳しく知りたい方は、ブログの 404 特集をご覧いただくか、ウェブマスター ヘルプ フォーラムにお問い合わせください。