컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
Googlebot
Googlebot은 Google 검색에서 사용하는 두 가지 유형의 웹 크롤러의 일반적인 이름입니다.
요청의 HTTP user-agent 요청 헤더를 통해 Googlebot의 하위 유형을 확인할 수 있지만, 크롤러 유형은 robots.txt에 있는 동일한 제품 토큰(사용자 에이전트 토큰)을 따르므로 robots.txt를 사용하여 Googlebot 스마트폰 또는 Googlebot 데스크톱 중 하나를 선택적으로 타겟팅할 수는 없습니다.
대부분의 사이트에서 Google 검색은 주로 모바일 버전 콘텐츠의 색인을 생성합니다. 따라서 대부분의 Googlebot 크롤링 요청에 모바일 크롤러가 사용되며 그 외 소수의 요청에 데스크톱 크롤러가 사용됩니다.
Googlebot이 사이트에 액세스하는 방법
대부분의 경우 Googlebot은 평균적으로 몇 초에 한 번 정도만 사이트에 액세스합니다. 하지만 지연으로 인해 단기적으로 빈도가 약간 높아질 수도 있습니다. 사이트에서 Google의 크롤링 요청 속도를 맞추는 데 문제가 있는 경우 크롤링 속도를 낮출 수 있습니다.
Googlebot은 HTML 파일 또는 지원되는 텍스트 기반 파일의 처음 15MB를 크롤링할 수 있습니다.
HTML에서 참조되는 각 리소스(예: CSS 및 JavaScript)는 개별적으로 가져오며 각각 동일한 파일 크기 제한을 따릅니다. 파일의 처음 15MB를 크롤링하고 나면 Googlebot은 크롤링을 중지하고 파일의 처음 15MB만을 색인 생성을 위해 전송합니다. 파일 크기 한도는 압축되지 않은 데이터에 적용됩니다. Googlebot 동영상 및 Googlebot 이미지 등 다른 Google 크롤러의 한도는 다를 수도 있습니다.
미국의 IP 주소를 통해 크롤링할 때 Googlebot의 시간대는 태평양 표준시입니다.
다른 Googlebot의 기술 속성은 Google 크롤러 개요에 설명되어 있습니다.
Googlebot에서 사이트를 방문하지 못하도록 차단하기
Googlebot은 주로 이전에 크롤링된 페이지에 삽입된 링크에서 크롤링할 새 URL을 찾습니다.
링크를 게시하지 않는 방법으로 사이트를 비밀로 유지하는 것은 거의 불가능합니다. 예를 들어 누군가 '비밀' 사이트의 링크를 클릭하여 다른 사이트로 연결되면 '비밀' 사이트 URL은 리퍼러 태그에 나타날 수 있으며, 리퍼러 로그에 포함된 다른 사이트에 의해 저장되고 게시될 수 있습니다.
Googlebot이 사이트의 콘텐츠를 크롤링하지 못하게 하려는 경우 여러 가지 방법을 사용할 수 있습니다. 크롤링과 색인 생성에는 차이가 있습니다. Googlebot이 페이지를 크롤링하지 못하도록 차단한다고 해서 페이지의 URL이 검색 결과에 표시되는 것까지 차단되는 것은 아닙니다.
Googlebot을 차단하면 Google 검색(디스커버 및 모든 Google 검색 기능 포함) 및 기타 제품(예: Google 이미지, Google 비디오, Google 뉴스)에 영향을 미칩니다.
Googlebot인지 확인하기
Googlebot을 차단하기 전에 다른 크롤러가 Googlebot에서 사용되는 HTTP user-agent 요청 헤더로 위장하는 경우가 많다는 점에 유의하세요. 문제가 되는 요청이 실제로 Google에서 보낸 것인지 확인해야 합니다. 실제로 Googlebot에서 보낸 요청인지 확인하는 가장 좋은 방법은 요청의 소스 IP에 역방향 DNS 조회를 사용하거나 소스 IP를 Googlebot IP 범위와 일치시킵니다.
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
최종 업데이트: 2025-08-04(UTC)
[null,null,["최종 업데이트: 2025-08-04(UTC)"],[[["\u003cp\u003eGooglebot is the name for Google's web crawlers, which include Googlebot Smartphone and Googlebot Desktop, used to understand and index website content.\u003c/p\u003e\n"],["\u003cp\u003eGooglebot primarily crawls and indexes the mobile version of websites, reflecting the dominance of mobile browsing.\u003c/p\u003e\n"],["\u003cp\u003eWebsite owners can control Googlebot's access by using robots.txt to manage crawl rate and prevent crawling of specific content.\u003c/p\u003e\n"],["\u003cp\u003eWhile blocking Googlebot prevents crawling, it doesn't automatically remove a page from Google Search results; \u003ccode\u003enoindex\u003c/code\u003e should be used for that purpose.\u003c/p\u003e\n"],["\u003cp\u003eIt's crucial to verify the authenticity of Googlebot requests as its user agent is frequently imitated by other crawlers.\u003c/p\u003e\n"]]],["Googlebot, comprising Desktop and Smartphone crawlers, indexes web content, primarily favoring the mobile version. It crawls most sites at a rate of once every few seconds, fetching up to 15MB of HTML or text-based files and their resources. To manage Googlebot's access, sites can use `robots.txt` to block crawling or `noindex` to prevent indexing. Blocking crawling affects Google Search and related products. Verify Googlebot requests via reverse DNS lookup or by checking the IP range.\n"],null,["# What Is Googlebot | Google Search Central\n\nGooglebot\n=========\n\n\nGooglebot is the generic name for two types of\n[web crawlers](/search/docs/fundamentals/how-search-works) used by Google Search:\n\n- [**Googlebot Smartphone**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-smartphone): a mobile crawler that simulates a user on a mobile device.\n- [**Googlebot Desktop**](/search/docs/crawling-indexing/google-common-crawlers#googlebot-desktop): a desktop crawler that simulates a user on desktop.\n\n\nYou can identify the subtype of Googlebot by looking at the\n[HTTP `user-agent` request header](/search/docs/crawling-indexing/overview-google-crawlers)\nin the request. However, both crawler types obey the same product token (user agent token) in\nrobots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot\nDesktop using robots.txt.\n\n\nFor most sites Google Search primarily\n[indexes the mobile version](/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing)\nof the content. As such the majority of Googlebot crawl requests will be made using the mobile\ncrawler, and a minority using the desktop crawler.\n\nHow Googlebot accesses your site\n--------------------------------\n\n\nFor most sites, Googlebot shouldn't access your site more than once every few seconds on\naverage. However, due to delays it's possible that the rate will appear to be slightly higher\nover short periods. If your site is having trouble keeping up with Google's crawling requests, you\ncan [reduce the crawl rate.](/search/docs/crawling-indexing/reduce-crawl-rate)\n\n\nGooglebot can crawl the first 15MB of an HTML file or\n[supported text-based file](/search/docs/crawling-indexing/indexable-file-types).\nEach resource referenced in the HTML such as CSS and JavaScript is fetched separately, and\neach fetch is bound by the same file size limit. After the first 15MB of the file, Googlebot\nstops crawling and only sends the first 15MB of the file for indexing consideration. The file size\nlimit is applied on the uncompressed data. Other Google crawlers, for example Googlebot Video and\nGooglebot Image, may have different limits.\n\n\nWhen crawling from IP addresses in the US, the timezone of Googlebot is\n[Pacific Time](https://g.co/kgs/WSf8oR).\n\n\nOther\n[technical properties of Googlebot](/search/docs/crawling-indexing/overview-google-crawlers#crawl-technical-props)\nare described in the overview of Google's crawlers.\n\nBlocking Googlebot from visiting your site\n------------------------------------------\n\n\nGooglebot discovers new URLs to crawl primarily from links embedded in previously crawled pages.\nIt's almost impossible to keep a site secret by not publishing links to it. For example, as soon\nas someone clicks a link from your \"secret\" site to another site, your \"secret\" site URL may\nappear in the referrer tag and can be stored and published by the other site in its referrer log.\n\n\nIf you want to prevent Googlebot from crawling content on your site, you have a\n[number of options](/search/docs/crawling-indexing/control-what-you-share). Remember\nthere's a difference between *crawling* and *indexing*; blocking Googlebot from crawling\na page doesn't prevent the URL of the page from appearing in search results:\n\n- **Prevent Googlebot from crawling a page?** Use a [robots.txt file](/search/docs/crawling-indexing/robots/intro).\n- **Don't want Google to index a page?** Use [`noindex`](/search/docs/crawling-indexing/block-indexing).\n- **Prevent a page from being accessible at all by both crawlers or users?** Use [another method, such as password protection](/search/docs/crawling-indexing/control-what-you-share).\n\n\nBlocking Googlebot affects Google Search (including Discover and all Google Search features), as\nwell as other products such as Google Images, Google Video, and Google News.\n\nVerifying Googlebot\n-------------------\n\n\nBefore you decide to block Googlebot, be aware that the HTTP `user-agent` request\nheader used by Googlebot is often spoofed by other crawlers. It's important to verify that a\nproblematic request actually comes from Google. The best way to verify that a request actually\ncomes from Googlebot is to\n[use a reverse DNS lookup](/search/docs/crawling-indexing/verifying-googlebot#manual)\non the source IP of the request, or to match the source IP against the\n[Googlebot IP ranges](/search/docs/crawling-indexing/verifying-googlebot#use-automatic-solutions)."]]
