Google の検索スパム対策 - ウェブスパム レポート 2019
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
2020 年 6 月 9 日(火曜日)
Google にとって、検索はすべて大切です。だからこそ、ユーザーが Google 検索を使って関心事についての有用な情報を求めるときは、常に可能な限り高品質な結果が得られるように、継続的な取り組みを行っているのです。
残念なことに、ウェブ上には「ウェブスパム」と呼ばれる、検索にとって有害な動作やコンテンツが存在しています。これらが、有用な情報を求めて検索を利用するユーザーのエクスペリエンスを低下させる一因となっています。Google では、ウェブスパムが検索結果に表示されないようにするために、多くのチームが活動しています。そして、常にスパマーたちの先を行くよう、たゆまぬ努力を続けています。それと同時に、Google はウェブマスターと継続的に協力して、ウェブマスターがベスト プラクティスに沿うことで検索を有効に活用し、この開かれたウェブ上で役立つコンテンツを提供できるようにしています。
以下では昨年を振り返って、Google が 2019 年にどのような検索スパム対策を実施したか、そしてウェブマスターのコミュニティをどのようにサポートしたかについて説明します。
大規模なスパム対策
Google 検索では、インデックスに登録された数千億ものウェブページを使って、毎日数十億のクエリに応答しています。そのため、検索ランキングを不正に操作しようとするユーザーが絶えず存在するとしても、それほど不思議ではありません。実際、毎日 250 億を超えるページにスパム行為があることを観測しています。これは、スパムが大量に存在することに加え、今後スパマーが大規模に、かつ長期間にわたり存在し続けることを示唆しています。Google は、検索結果にスパムページが表示される可能性をできる限り少なくするよう、真剣な取り組みを行っています。その成果として、これまでに Google 検索結果からのアクセスの 99% 以上が、スパムを経験せずに済むようになりました。
前年からの変化点
2018 年には、ユーザー生成スパムを 80% 削減できた旨を報告しました。幸い、2019 年になってもこの種の不正行為が増加していないことを確認できています。リンクスパムは引き続きよく見られるスパムの形式ですが、Google のチームは 2019 年にその影響を抑えることに成功しました。リンクスパムの 90% 以上が Google のシステムによって検出され、有料リンクや相互リンクなどの手法の効果が抑制されました。
ハッキング ウェブスパムは、依然としてよく見られる問題ですが、過去数年に比べると落ち着いています。Google は、影響を受けたウェブマスターおよびプラットフォームを適切に検出して通知するソリューション、およびハッキングされたウェブサイトの復旧を支援するためのソリューションの開発に引き続き注力しました。
スパムの傾向
2019 年の優先事項のひとつに、機械学習システムを使ってスパム対策機能を向上させることがありました。Google の機械学習ソリューションは、長年の実績を誇る手動による対策の機能と組み合わせることで、スパム行為が含まれる検索結果を特定し、ユーザーに表示されるのを防ぐための有効な手段となりました。
ここ数年間にわたり、自動生成および無断複製されたコンテンツによるスパム行為のあるサイトが増加してきました。このようなサイトは、フェイクボタン、執ような広告、不正リダイレクト、マルウェアなど、検索ユーザーにとって迷惑または有害な動作を伴います。また欺まん的であることも多く、ユーザーにメリットをもたらしません。2019 年には、この種のスパムによる検索ユーザーへの影響を、2018 年と比較して 60% 以上削減することができました。
スパム検出の能力と効率を向上させる一方で、Google は欺まんや詐欺など、さまざまな危害を減らすための継続的な投資を行っています。そのような危害を加えるサイトは、ユーザーをだまして公的または信頼できるサイトだと信じ込ませるもので、その結果、多くの場合でユーザーの個人情報流出や金銭的損失、デバイスのマルウェア感染につながる可能性があります。Google は、欺まんや詐欺の標的になりそうなクエリに細心の注意を払い、ユーザーを保護するために、その分野で常にスパム戦術に対して先手を打つよう努めてきました。
ウェブ改善のためのウェブマスターおよびデベロッパーとの協力
Google のスパム対策作業の大半は、自動化システムを使ってスパム行為のある動作を検出することです。しかし、このようなシステムは完全ではなく、すべてを検出することはできません。検索を利用するユーザーであればどなたでも、検索スパム、フィッシング、マルウェアを報告することにより、Google のスパム対策やその他の問題への対策を支援できます。Google は、2019 年に約 23 万件の検索スパムの報告を受け、そのうちの 82% に対して措置を講じることができました。お送りいただいたすべてのご報告と、検索結果をクリーンに保つためのご協力に感謝いたします。
では、このような報告を受けた際、またはなんらかの問題を発見した際に、Google はどのような対応をしているのでしょうか。Google の対応の中で重要なのが、ウェブサイトに問題を発見した際のウェブマスターへの通知です。2019 年には、検索結果でのサイトの表示に影響を及ぼしうる問題点、および実装可能な改善点をお知らせするため、9 千万件を超えるメッセージをウェブサイトの所有者宛てに生成しました。このうちの約 430 万件は手動による対策に関する通知で、Google のウェブマスター向けガイドラインへの違反に起因するものでした。
また、Google はサイト所有者を支援するためのよりよい方法を常に模索しています。2019 年には、新しい Search Console メッセージ、WordPress サイト向けの Site Kit、新しい Search Console の DNS 自動確認機能など、コミュニケーション方法の改善を目的とした多くの取り組みを行いました。
これらがウェブマスターのサイト確認作業を容易化する方法として採用され、将来にわたって役立つことを期待しています。また、これによって最新情報への迅速なアクセスが可能になり、ウェブマスターがウェブスパムやハッキングの問題をより効果的かつ効率的に解決できるようになることを願っています。
Google は、スパムの一掃に重点的に取り組む一方で、ウェブの進化に歩調を合わせることも忘れていません。具体的には、"nofollow"
リンクの扱い方について再検討を行いました。"nofollow"
属性は、もともとはコメントスパム対策やスポンサー リンクへの注釈付けの手段として導入され、その後大きな進化を遂げていました。しかし、そこで進化が止まることはありませんでした。Google は、スパム対策機能が進化したのと同様に、ウェブもさらに進化すべきときが来たと考えたのです。そして、2 つの新しいリンク属性、rel="sponsored"
と rel="ugc"
を導入しました。これによりウェブマスターは、Google 検索に対して特定のリンクの性質を示すための追加の方法を使えるようになりました。これらは、rel="nofollow"
とともに、ランキングのための考慮点としてすでに使用されています。新しい rel 属性が好評をもって迎えられ、世界中のウェブマスターに採用されていることを、とても嬉しく思っています。
昨年も例年どおり、世界中のウェブマスターとの交流の場を設け、検索におけるプレゼンスの向上の支援や、フィードバックの収集を行うことができました。具体的には、SEO、デベロッパー、オンライン マーケティング担当者、ビジネス オーナーなど幅広いユーザーを対象に、世界中の多くの都市で 150 を超えるオンライン オフィスアワー、オンライン イベント、オフライン イベントを開催しました。特に、マウンテンビューでの初回プロダクト サミット(Product Summit)バージョンを含め、世界 15 か国の 35 か所で、12 の言語で開催された Webmaster Conference の盛況ぶりは、いまだに感動を覚えるほどでした。現在は対面式のイベントを開催することはできませんが、今後はここに示すようなイベントや仮想タッチポイントをさらに増やしていきたいと考えています。
ウェブマスター ヘルプ コミュニティは 12 以上の言語に対応し、2019 年時点でスレッド数が 3 万以上となって、今日もここでウェブマスターが解決策やヒントを見つけています。YouTube では、SEO Mythbusting のようなシリーズに加えて #AskGoogleWebmasters を立ち上げ、質問に対する回答や不明点の解消を図りました。
ウェブをよりよいものにするための道のりは、この先もずっと続くでしょう。Google は、今年も皆様と一緒にその道を進んでいくことを楽しみにしています。そのためには、コミュニケーションが不可欠です。Twitter、YouTube、ブログ、ヘルプ コミュニティをぜひご利用ください。また、お近くで開催される Google 主催のカンファレンスで直接お会いしましょう。
投稿者: Cherry Prommawin(検索リレーションズ)、Duy Nguyen(検索品質アナリスト)
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
[null,null,[],[[["\u003cp\u003eGoogle is actively combating webspam, blocking over 25 billion spammy pages daily to ensure high-quality search results.\u003c/p\u003e\n"],["\u003cp\u003eGoogle reduced the impact of spam with auto-generated and scraped content by over 60% in 2019 using machine learning and manual actions.\u003c/p\u003e\n"],["\u003cp\u003eWebmasters are encouraged to report spam, phishing, and malware; Google provides tools and resources like Search Console to help them address website issues.\u003c/p\u003e\n"],["\u003cp\u003eGoogle fosters collaboration with webmasters through online and offline events, online help communities, and dedicated YouTube series.\u003c/p\u003e\n"],["\u003cp\u003eGoogle introduced new link attributes (\u003ccode\u003erel="sponsored"\u003c/code\u003e and \u003ccode\u003erel="ugc"\u003c/code\u003e) as hints for ranking purposes, complementing the existing \u003ccode\u003erel="nofollow"\u003c/code\u003e attribute.\u003c/p\u003e\n"]]],["Google Search actively combats webspam, identifying over 25 billion spammy pages daily. In 2019, they reduced the impact of auto-generated and scraped content spam by 60% and caught over 90% of link spam. They sent 90 million messages to webmasters about website issues, with 4.3 million related to manual actions. New link attributes were introduced (rel=\"sponsored,\" rel=\"ugc\"). The company held numerous online and offline webmaster events and engaged with the community through various online platforms.\n"],null,["# How we fought Search spam on Google - Webspam Report 2019\n\nTuesday, June 09, 2020\n\n\nEvery search matters. That is why whenever you come to Google Search to find relevant and useful\ninformation, it is our ongoing commitment to make sure users receive the highest quality results\npossible.\n\n\nUnfortunately, on the web there are some disruptive behaviors and content that we call \"webspam\"\nthat can degrade the experience for people coming to find helpful information. We have a number\nof teams who work to prevent webspam from appearing in your search results, and it's a constant\nchallenge to stay ahead of the spammers. At the same time, we continue to engage with webmasters\nto ensure they're following best practices and can find success on Search, making great content\navailable on the open web.\n\n\nLooking back at last year, here's a snapshot of how we fought spam on Search in 2019, and how we\nsupported the webmaster community.\n\nFighting Spam at Scale\n----------------------\n\n\nWith hundreds of billions of webpages in our index serving billions of queries every day,\nperhaps it's not too surprising that there continue to be bad actors who try to manipulate\nsearch ranking. In fact, we observed that **more than 25 Billion pages we discover each\nday are spammy**. That's a lot of spam and it goes to show the scale, persistence, and\nthe lengths that spammers are willing to go. We're very serious about making sure that your\nchance of encountering spammy pages in Search is as small as possible. Our efforts have helped\nensure that more than 99% of visits from our results lead to experiences without spam.\n\nUpdates from last year\n----------------------\n\n\nIn 2018, we reported that we had reduced\n[user-generated spam](/search/docs/advanced/guidelines/user-gen-spam) by 80%,\nand we're happy to confirm that this type of abuse did not grow in 2019. Link spam continued to\nbe a popular form of spam, but our team was successful in containing its impact in 2019. More\nthan 90% of link spam was caught by our systems, and techniques such as paid links or link\nexchange have been made less effective.\n\n\nHacked spam, while still a commonly observed challenge, has been more stable compared to\nprevious years. We continued to work on solutions to better detect and notify affected\nwebmasters and platforms and\n[help them recover from hacked websites](/web/fundamentals/security/hacked).\n\nSpam Trends\n-----------\n\n\nOne of our top priorities in 2019 was improving our spam fighting capabilities through machine\nlearning systems. Our machine learning solutions, combined with our proven and time-tested\nmanual enforcement capability, have been instrumental in identifying and preventing spammy\nresults from being served to users.\n\n\nIn the last few years, we've observed an increase in spammy sites with\n[auto-generated](/search/docs/advanced/guidelines/auto-gen-content) and\n[scraped content](/search/docs/advanced/guidelines/scraped-content)\nwith behaviors that annoy or harm searchers, such as fake buttons, overwhelming ads, suspicious\nredirects and malware. These websites are often deceptive and offer no real value to people. In\n2019, we were able to reduce the impact on Search users from this type of spam by more than 60%\ncompared to 2018.\n\n\nAs we improve our capability and efficiency in catching spam, we're continuously investing in\nreducing broader types of harm, like scams and fraud. These sites trick people into thinking\nthey're visiting an official or authoritative site and in many cases, people can end up\ndisclosing sensitive personal information, losing money, or infecting their devices with\nmalware. We have been paying close attention to queries that are prone to scam and fraud and\nwe've worked to stay ahead of spam tactics in those spaces to protect users.\n\nWorking with webmasters and developers for a better web\n-------------------------------------------------------\n\n\nMuch of the work we do to fight against spam is using automated systems to detect spammy\nbehavior, but those systems aren't perfect and can't catch everything. As someone who uses\nSearch, you can also help us fight spam and other issues by\n[reporting spam on search](/search/docs/advanced/guidelines/report-spam),\n[phishing](https://safebrowsing.google.com/safebrowsing/report_phish/) or\n[malware](https://www.google.com/safebrowsing/report_badware/). We received nearly\n230,000 reports of search spam in 2019, and we were able to take action on 82% of those reports\nwe processed. We appreciate all the reports you sent to us and your help in keeping search\nresults clean!\n\n\nSo what do we do when we get those reports or identify that something isn't quite right? An\nimportant part of what we do is notifying webmasters when we detect something wrong with their\nwebsite. In 2019, we generated more than 90 million messages to website owners to let them know\nabout issues, problems that may affect their site's appearance on Search results and potential\nimprovements that can be implemented. Of all messages, about 4.3 million were related to\n[manual actions](https://support.google.com/webmasters/answer/9044175), resulting\nfrom violations of our Webmaster Guidelines.\n\n\nAnd we're always looking for ways to better help site owners. There were many initiatives in\n2019 aimed at improving communications, such as\n[the new Search Console messages](/search/blog/2019/12/search-console-messages),\n[Site Kit for WordPress sites](/search/blog/2019/10/site-kit-is-now-available-for-all)\nor\n[the Auto-DNS verification in the new Search Console](/search/blog/2019/09/auto-dns-verification).\nWe hope that these initiatives have equipped webmasters with more convenient ways to get their\nsites verified and will continue to be helpful. We also hope this provides quicker access to\nnews and that webmasters will be able to fix webspam issues or hack issues more effectively and\nefficiently.\n\n\nWhile we deeply focused on cleaning up spam, we also didn't forget to keep up with the evolution\nof the web and\n[rethought how we wanted to\ntreat `\"nofollow\"` links](/search/blog/2019/09/evolving-nofollow-new-ways-to-identify). Originally introduced as a means to\nhelp fight comment spam and annotate sponsored links, the `\"nofollow\"`\nattribute has come a long way. But we're not stopping there. We believe it's time for it to\nevolve even more, just as how our spam fighting capability has evolved. We introduced two new\nlink attributes, `rel=\"sponsored\"` and `rel=\"ugc\"`,\nthat provide webmasters with additional ways to identify to Google Search the nature of\nparticular links. Along with `rel=\"nofollow\"`, we began treating these\nas hints for us to incorporate for ranking purposes. We are very excited to see that these new\nrel attributes were well received and adopted by webmasters around the world!\n\nEngaging with the community\n---------------------------\n\n\nAs always, we're grateful for all the opportunities we had last year to connect with webmasters\naround the world, helping them improve their presence in Search and hearing feedback. We\ndelivered more than 150 online office hours, online events and offline events in many cities\nacross the globe to a wide range of audience including SEOs, developers, online marketers and\nbusiness owners. Among those events, we have been delighted by\n[the momentum behind our Webmaster Conferences](/search/blog/2019/09/join-us-at-webmaster-conference-in)\nin 35 locations across 15 countries and 12 languages around the world, including the first\nProduct Summit version in Mountain View. While we're not currently able to host in-person\nevents, we look forward to more of these\n[events](/search/events) and virtual\ntouchpoints in the future.\n\n\nWebmasters continued to find solutions and tips on our\n[Webmasters Help Community](https://support.google.com/webmasters/community)\nwith more than 30,000 threads in 2019 in more than a dozen languages. On YouTube, we\n[launched #AskGoogleWebmasters](/search/blog/2019/08/you-askgooglewebmasters-we-answer)\nas well as series such as\n[SEO mythbusting](/search/blog/2019/06/a-new-series-on-seo-for-web-developers) to\nensure that your questions get answered and your uncertainties get clarified.\n\n\nWe know that our journey to better web with you is ongoing and we would love to continue this\nwith you in the year to come! Therefore, do keep in touch on\n[Twitter](https://twitter.com/googlesearchc),\n[YouTube](https://www.youtube.com/channel/UCWf2ZlNsCGDS89VBF_awNvA),\n[blog](/search/blog),\n[Help Community](https://support.google.com/webmasters/community) or see you in\nperson at one of\n[our conferences](/search/events) near you!\n\n\nPosted by [Cherry Prommawin](https://www.linkedin.com/in/cherry-prom/), Search Relations, and [Duy Nguyen](/search/blog/authors/duy-nguyen), Search Quality Analyst"]]