コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Googlebot
Googlebot は、Google 検索で使用される 2 種類のウェブ クローラーの総称です。
Googlebot のサブタイプは、リクエストの HTTP user-agent
リクエスト ヘッダーで確認できます。ただし、両方のクローラー タイプが robots.txt 内の同じプロダクト トークン(ユーザー エージェント トークン)に従うため、robots.txt でスマートフォン用 Googlebot またはパソコン用 Googlebot のどちらかをターゲットにすることはできません。
Google 検索はほとんどのサイトについて、主としてコンテンツのモバイル バージョンをインデックスに登録します。そのため、Googlebot のクロール リクエストの大部分はモバイル クローラーを使用して行われ、一部がデスクトップ クローラーを使用して行われます。
Googlebot がサイトにアクセスする方法
Googlebot は、平均して数秒に 1 回を超える頻度でサイトにアクセスすることはありません。ただし、遅延などにより、短時間にアクセス頻度が若干増えたように思える場合があります。Google のクロール リクエストへの対応で問題が発生した場合は、クロール頻度を減らすことができます。
Googlebot は、HTML ファイルまたはサポートされているテキストベースのファイルの最初の 15 MB の部分をクロールできます。HTML で参照されるリソース(CSS、JavaScript など)は個別に取得され、取得ごとに同じファイルサイズの制限が適用されます。ファイルの最初の 15 MB を超えると、Googlebot はクロールを停止し、最初の 15 MB のみをインデックス登録の対象として送信します。ファイルサイズの上限は、非圧縮データに適用されます。Google の他のクローラー(動画用 Googlebot、画像用 Googlebot など)では、制限が異なる場合があります。
米国の IP アドレスからクロールする場合、Googlebot のタイムゾーンは太平洋時間です。
その他の Googlebot の技術的特性については、Google クローラーの概要で説明されています。
Googlebot のサイトアクセスをブロックする
Googlebot は、主に以前にクロールしたページに埋め込まれたリンクから、クロールする新しい URL を検出します。サイトへのリンクを公開しないようにして、そのサイトの存在を隠すことはまず不可能です。誰かが「非公開」のサイトからリンクをクリックして別のサイトにアクセスすると、「非公開」のサイトの URL がリファラータグに追加され、他のサイトのリファラーログに保存、公開されるからです。
Googlebot によるサイトのコンテンツのクロールをブロックするには、複数の方法があります。なお、クロールとインデックス登録は異なりますのでご注意ください。Googlebot によるページのクロールをブロックしても、そのページの URL が検索結果に表示されなくなるわけではありません。
Googlebot をブロックすることは、Google 検索(Discover やすべての Google 検索機能を含む)だけでなく、Google 画像検索、Google Video、Google ニュースなどの他のサービスにも影響します。
Googlebot が本物であるか確認する
Googlebot をブロックする前に、他のクローラーが Googlebot の HTTP user-agent
リクエスト ヘッダーを使用して Googlebot になりすましていることがよくある点に注意してください。問題のリクエストが本当に Google からのものかどうかを確認することが重要です。リクエストが実際に Googlebot から送信されたものかどうかを確認するには、リクエストの送信元 IP についてリバース DNS ルックアップを実施するか、送信元 IP と Googlebot の IP 範囲を照合します。
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2025-08-04 UTC。
[null,null,["最終更新日 2025-08-04 UTC。"],[[["\u003cp\u003eGooglebot is the name for Google's web crawlers, which include Googlebot Smartphone and Googlebot Desktop, used to understand and index website content.\u003c/p\u003e\n"],["\u003cp\u003eGooglebot primarily crawls and indexes the mobile version of websites, reflecting the dominance of mobile browsing.\u003c/p\u003e\n"],["\u003cp\u003eWebsite owners can control Googlebot's access by using robots.txt to manage crawl rate and prevent crawling of specific content.\u003c/p\u003e\n"],["\u003cp\u003eWhile blocking Googlebot prevents crawling, it doesn't automatically remove a page from Google Search results; \u003ccode\u003enoindex\u003c/code\u003e should be used for that purpose.\u003c/p\u003e\n"],["\u003cp\u003eIt's crucial to verify the authenticity of Googlebot requests as its user agent is frequently imitated by other crawlers.\u003c/p\u003e\n"]]],["Googlebot, comprising Desktop and Smartphone crawlers, indexes web content, primarily favoring the mobile version. It crawls most sites at a rate of once every few seconds, fetching up to 15MB of HTML or text-based files and their resources. To manage Googlebot's access, sites can use `robots.txt` to block crawling or `noindex` to prevent indexing. Blocking crawling affects Google Search and related products. Verify Googlebot requests via reverse DNS lookup or by checking the IP range.\n"],null,["# What Is Googlebot | Google Search Central\n\nGooglebot\n=========\n\n\nGooglebot is the generic name for two types of\n[web crawlers](/search/docs/fundamentals/how-search-works) used by Google Search:\n\n- [**Googlebot Smartphone**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-smartphone): a mobile crawler that simulates a user on a mobile device.\n- [**Googlebot Desktop**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-desktop): a desktop crawler that simulates a user on desktop.\n\n\nYou can identify the subtype of Googlebot by looking at the\n[HTTP `user-agent` request header](/search/docs/crawling-indexing/overview-google-crawlers)\nin the request. However, both crawler types obey the same product token (user agent token) in\nrobots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot\nDesktop using robots.txt.\n\n\nFor most sites Google Search primarily\n[indexes the mobile version](/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing)\nof the content. As such the majority of Googlebot crawl requests will be made using the mobile\ncrawler, and a minority using the desktop crawler.\n\nHow Googlebot accesses your site\n--------------------------------\n\n\nFor most sites, Googlebot shouldn't access your site more than once every few seconds on\naverage. However, due to delays it's possible that the rate will appear to be slightly higher\nover short periods. If your site is having trouble keeping up with Google's crawling requests, you\ncan [reduce the crawl rate.](/search/docs/crawling-indexing/reduce-crawl-rate)\n\n\nGooglebot can crawl the first 15MB of an HTML file or\n[supported text-based file](/search/docs/crawling-indexing/indexable-file-types).\nEach resource referenced in the HTML such as CSS and JavaScript is fetched separately, and\neach fetch is bound by the same file size limit. After the first 15MB of the file, Googlebot\nstops crawling and only sends the first 15MB of the file for indexing consideration. The file size\nlimit is applied on the uncompressed data. Other Google crawlers, for example Googlebot Video and\nGooglebot Image, may have different limits.\n\n\nWhen crawling from IP addresses in the US, the timezone of Googlebot is\n[Pacific Time](https://g.co/kgs/WSf8oR).\n\n\nOther\n[technical properties of Googlebot](/search/docs/crawling-indexing/overview-google-crawlers#crawl-technical-props)\nare described in the overview of Google's crawlers.\n\nBlocking Googlebot from visiting your site\n------------------------------------------\n\n\nGooglebot discovers new URLs to crawl primarily from links embedded in previously crawled pages.\nIt's almost impossible to keep a site secret by not publishing links to it. For example, as soon\nas someone clicks a link from your \"secret\" site to another site, your \"secret\" site URL may\nappear in the referrer tag and can be stored and published by the other site in its referrer log.\n\n\nIf you want to prevent Googlebot from crawling content on your site, you have a\n[number of options](/search/docs/crawling-indexing/control-what-you-share). Remember\nthere's a difference between *crawling* and *indexing*; blocking Googlebot from crawling\na page doesn't prevent the URL of the page from appearing in search results:\n\n- **Prevent Googlebot from crawling a page?** Use a [robots.txt file](/search/docs/crawling-indexing/robots/intro).\n- **Don't want Google to index a page?** Use [`noindex`](/search/docs/crawling-indexing/block-indexing).\n- **Prevent a page from being accessible at all by both crawlers or users?** Use [another method, such as password protection](/search/docs/crawling-indexing/control-what-you-share).\n\n\nBlocking Googlebot affects Google Search (including Discover and all Google Search features), as\nwell as other products such as Google Images, Google Video, and Google News.\n\nVerifying Googlebot\n-------------------\n\n\nBefore you decide to block Googlebot, be aware that the HTTP `user-agent` request\nheader used by Googlebot is often spoofed by other crawlers. It's important to verify that a\nproblematic request actually comes from Google. The best way to verify that a request actually\ncomes from Googlebot is to\n[use a reverse DNS lookup](/search/docs/crawling-indexing/verifying-googlebot#manual)\non the source IP of the request, or to match the source IP against the\n[Googlebot IP ranges](/search/docs/crawling-indexing/verifying-googlebot#use-automatic-solutions)."]]