Googlebot 크롤링 예산의 의미

2017년 1월 16일 월요일

최근 '크롤링 예산'에 관한 다양한 정의를 확인했습니다. 그러나 '크롤링 예산'이 외부적으로 의미하는 모든 것을 설명하는 한 가지 용어는 없습니다. 이 게시물을 통해 크롤링 예산에 관한 Google의 실제 정의와 Googlebot에서의 의미를 명확히 하려고 합니다.

먼저 크롤링 예산은 아래 설명과 같이 대부분의 게시자가 걱정해야 하는 것이 아님을 강조하고 싶습니다. 새 페이지가 게시되는 당일에 크롤링되는 경향이 있으면 크롤링 예산은 웹마스터가 중점을 두어야 하는 사항이 아닙니다. 마찬가지로 사이트의 URL이 수천 개 미만이면 대부분 효율적으로 크롤링됩니다.

크롤링 대상과 시기, 사이트 호스팅 서버가 크롤링에 할당할 수 있는 리소스 양의 우선순위를 정하는 작업은 대규모 사이트나 URL 매개변수에 기반하여 페이지를 자동 생성하는 사이트의 경우에 더 중요합니다.

크롤링 속도 제한

Googlebot은 웹에서 바람직하게 작동하도록 만들어졌습니다. Googlebot의 주요 우선순위는 크롤링이지만, 동시에 사이트를 방문하는 사용자의 환경에 방해가 되어서는 안 됩니다. Google에서는 이를 '크롤링 속도 제한'이라고 하며 이를 통해 주어진 사이트의 최대 가져오기 속도를 제한합니다.

간단히 말해서 Googlebot이 사이트를 크롤링하는 데 사용할 수 있는 동시 연결 수와 가져오기 사이에 기다려야 하는 시간을 나타냅니다. 크롤링 속도는 몇 가지 요소에 따라 올라가거나 내려갈 수 있습니다.

• 크롤링 상태: 사이트에서 한동안 응답을 상당히 빠르게 보내면 한도가 올라가므로 크롤링에 사용할 수 있는 연결이 많아집니다. 사이트의 속도가 느려지거나 서버 오류로 응답하면 한도는 내려가고 Googlebot이 크롤링을 줄입니다.
• Search Console에서 설정한 한도: 웹사이트 소유자는 Googlebot의 사이트 크롤링을 줄일 수 있습니다. 한도를 높게 설정해도 크롤링은 자동으로 증가하지 않습니다.

크롤링 수요

크롤링 속도 제한에 도달하지 않더라도 색인 생성의 수요가 없으면 Googlebot의 활동이 줄어듭니다. 크롤링 수요를 판단하는 데 중요한 역할을 하는 두 요소는 다음과 같습니다.

• 인기도: 인터넷에서 인기가 높은 URL은 Google 색인에서 최신으로 유지하기 위해 더 자주 크롤링되는 경향이 있습니다.
• 비활성: Google 시스템은 URL이 색인에서 비활성이 되는 것을 방지하려고 합니다.

또한 사이트 이동과 같은 사이트 전체 이벤트는 새 URL에서 콘텐츠의 색인을 다시 생성하기 위해 크롤링 수요의 증가를 유발할 수 있습니다.

크롤링 속도와 크롤링 수요를 함께 고려하여 Google에서는 크롤링 예산을 Googlebot이 크롤링할 수 있고 크롤링하려는 URL 수로 정의합니다.

크롤링 예산에 영향을 미치는 요소

Google의 분석에 따르면 가치가 낮은 URL이 많이 있으면 사이트의 크롤링과 색인 생성에 부정적인 영향을 미칠 수 있습니다. 가치가 낮은 URL은 중요도 순에 따라 다음 카테고리로 분류되는 것으로 나타났습니다.

• 속성 탐색과 세션 식별자
• 사이트 내 중복 콘텐츠
• soft 오류 페이지
• 해킹된 페이지
• 무한 공간과 프록시
• 품질이 낮거나 스팸인 콘텐츠

이러한 페이지에 서버 리소스를 낭비하면 실제로 가치가 있는 페이지의 크롤링 활동이 소모되어 사이트에서 우수한 콘텐츠를 발견하는 데 시간이 상당히 지연될 수 있습니다.

많이 본 질문

크롤링은 사이트가 Google 검색결과에 표시되는 진입점입니다. 웹사이트를 효율적으로 크롤링하면 Google 검색에서 사이트의 색인을 쉽게 생성할 수 있습니다.

사이트의 크롤링을 최적화하는 방법에 관한 자세한 내용은 여전히 유효한 2009년의 크롤링 최적화에 관한 블로그 게시물을 참고하세요. 궁금한 점이 있으면 포럼에서 질문하세요.

게시자: 게리 일리즈, 크롤링 및 색인 생성팀