ウェブページをより深く理解するようになりました
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
2014年5月26日月曜日
Google のサーバーが
Susan Wojcicki
のガレージで動いていた
1998
当時は、JavaScript や CSS はあまり気にかける必要もありませんでした。それらはあまり使用されておらず、JavaScript はページ要素にちょっとした動きなどを加えるために使用されてるだけでした。そのときと今では状況が大きく変わりました。今やウェブの世界は、JavaScript を最大限に活用したリッチでダイナミックで魅力的なウェブサイトであふれています。今回は、よりリッチなウェブサイトをレンダリングする Google の能力についてご紹介します。Google は現在、最新のウェブ ブラウザに近いコンテンツの表示、外部リソースの追加、JavaScript の実行、CSS の適用を実現しています。
以前は、HTTP レスポンスのボディから取得されるテキスト形式のコンテンツだけが認識されており、JavaScript が動作する一般的なブラウザにどのようなコンテンツが実際に表示されているかを解釈することは行っていませんでした。JavaScript を使用した時にのみ表示される価値のあるコンテンツを表示するページ群が登場しても、検索ユーザーにそのコンテンツの情報を伝えることはできませんでした。これは検索ユーザーとウェブマスターの両方にとって悲しい結末です。
この問題を解決するために、Google では JavaScript を実行してページを把握する方法を試すことにしました。現在のウェブの規模でそれを行うことは困難ですが、やるだけの価値はあると判断したのです。これを実現するため、Google のシステムは、時間をかけて徐々に改良されてきました。ここ数か月間、Google のインデックス登録システムは、かなりの数のウェブページを JavaScript が有効な一般ユーザーのブラウザのようにレンダリングしています。
場合によっては、レンダリング時の処理が完全にはうまくいかないこともあり、皆様のサイトの検索結果に影響を及ぼす可能性があります。その場合の考えられる原因と、その問題の回避方法(可能な場合)の例を以下にご紹介いたします。
-
別々のファイルにある JavaScript や CSS などのリソースが(robots.txt などにより)Googlebot をブロックしている場合、Google のインデクシング システムは、そのサイトを一般ユーザーと同様には認識できません。皆様のコンテンツをインデックス登録できるように JavaScript や CSS の取得を Googlebot に許可することをおすすめします。これは、モバイル向けのウェブサイトでは特に重要です。あるページが
モバイル向けに最適化されている
かを Google のアルゴリズムが識別するうえで、CSS や JavaScript などの外部リソースが必要になるためです。
-
ウェブ サーバーが一定数のクロール リクエストを処理できない場合、ページをレンダリングする Google の機能に影響を及ぼす可能性があります。Google がページをレンダリングできるかどうかを確認したい場合は、ご利用のサーバーでリソースのクロール リクエストを処理できるかどうかをご確認ください。
-
常に有効なのは、JavaScript 非対応の環境にも対応しておくことです。この方法を使えば、ユーザーのブラウザが互換性のある JavaScript を実装していなくてもコンテンツを表示できます。JavaScript が無効またはオフになっていても、JavaScript をまだ実行できない検索エンジンでも大丈夫です。
-
場合によっては、JavaScript が複雑すぎたり特殊すぎたりして、Google で実行できないこともあります。このような場合は、ページを完全に正しくレンダリングすることはできません。
-
JavaScript によっては、コンテンツを追加するのではなく削除するものもあります。こういった場合、コンテンツのインデックス登録はできなくなってしまいます。
現在 Google ではデバッグがより簡単にできるように、ウェブマスターの皆様が Google によるサイトのレンダリング状況を詳しく把握できるようなツールの開発に取り組んでおります。近いうちに
ウェブマスター ツール
で皆様にご提供する予定です。
ご不明な点がありましたら、お気軽に
ウェブマスター ヘルプ フォーラム
をご利用ください。
Posted by Erik Hendriks and Michael Xu, Software Engineers, and
Kazushi Nagayama
, Webmaster Trends Analyst
Original version:
Official Google Webmaster Central Blog: Understanding web pages better
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2014-05-01 UTC。
[null,null,["最終更新日 2014-05-01 UTC。"],[[["\u003cp\u003eGoogle's indexing system is now rendering a significant number of web pages with JavaScript enabled to better understand dynamic content.\u003c/p\u003e\n"],["\u003cp\u003eWebmasters should ensure Googlebot can access JavaScript and CSS files to facilitate proper rendering and indexing, particularly for mobile websites.\u003c/p\u003e\n"],["\u003cp\u003eWebsites should be designed to degrade gracefully for users and search engines that may not have JavaScript capabilities, ensuring content accessibility.\u003c/p\u003e\n"],["\u003cp\u003ePotential issues with rendering may include server overload due to crawl requests, overly complex JavaScript, and JavaScript removing content, which webmasters should address.\u003c/p\u003e\n"],["\u003cp\u003eGoogle is developing a tool in Webmaster Tools to aid webmasters in understanding how Google renders their websites.\u003c/p\u003e\n"]]],["Google's indexing system now renders web pages more like a typical browser, including executing JavaScript and applying CSS. Key actions include allowing Googlebot to retrieve JavaScript and CSS resources, ensuring servers can handle crawl requests, and having sites degrade gracefully. Complex or content-removing JavaScript can hinder indexing. A tool is in development to help webmasters understand how their site is rendered, and the team recommends checking the help forum.\n"],null,["# Understanding web pages better\n\nFriday, May 23, 2014\n\n\nIn [1998](https://www.google.com/about/company/history/) when our\nservers were running in\n[Susan Wojcicki](https://twitter.com/SusanWojcicki)'s garage, we\ndidn't really have to worry about JavaScript or CSS. They weren't used much, or, JavaScript was\nused to make page elements... blink! A lot has changed since then. The web is full of rich,\ndynamic, amazing websites that make heavy use of JavaScript. Today, we'll talk about our\ncapability to render richer websites---meaning we see your content more like modern Web\nbrowsers, include the external resources, execute JavaScript and apply CSS.\n\n\nTraditionally, we were only looking at the raw textual content that we'd get in the HTTP response\nbody and didn't really interpret what a typical browser running JavaScript would see. When pages\nthat have valuable content rendered by JavaScript started showing up, we weren't able to let\nsearchers know about it, which is a sad outcome for both searchers and webmasters.\n\n\nIn order to solve this problem, we decided to try to understand pages by executing JavaScript.\nIt's hard to do that at the scale of the current web, but we decided that it's worth it. We have\nbeen gradually improving how we do this for some time. In the past few months, our indexing system\nhas been rendering a substantial number of web pages more like an average user's browser with\nJavaScript turned on.\n\n\nSometimes things don't go perfectly during rendering, which may negatively impact search results\nfor your site. Here are a few potential issues, and---where possible,---how you can help\nprevent them from occurring:\n\n- If resources like JavaScript or CSS in separate files are blocked (say, with robots.txt) so that Googlebot can't retrieve them, our indexing systems won't be able to see your site like an average user. We recommend allowing Googlebot to retrieve JavaScript and CSS so that your content can be indexed better. This is especially important for mobile websites, where external resources like CSS and JavaScript help our algorithms understand that the pages are [optimized for mobile](/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing#crawling_requirement).\n- If your web server is unable to handle the volume of crawl requests for resources, it may have a negative impact on our capability to render your pages. If you'd like to ensure that your pages can be rendered by Google, make sure your servers are able to handle crawl requests for resources.\n- It's always a good idea to have your site degrade gracefully. This will help users enjoy your content even if their browser doesn't have compatible JavaScript implementations. It will also help visitors with JavaScript disabled or off, as well as search engines that can't execute JavaScript yet.\n- Sometimes the JavaScript may be too complex or arcane for us to execute, in which case we can't render the page fully and accurately.\n- Some JavaScript removes content from the page rather than adding, which prevents us from indexing the content.\n\n\nTo make things easier to debug, we're currently working on a tool for helping webmasters better\nunderstand how Google renders their site. We look forward to making it to available for you in the\ncoming days in\n[Webmaster Tools](https://search.google.com/search-console).\n\nIf you have any questions, please you can visit our help forum.\n\n\nPosted by Erik Hendriks and [Michael Xu](https://www.linkedin.com/in/michaelxu1999/), Software Engineers, and\n[Kazushi Nagayama](https://plus.google.com/+KazushiNagayama/?rel=author),\nWebmaster Trends Analyst"]]