语言区域自适应网页的抓取和索引编入处理

2015年1月29日星期四

原文: Crawling and indexing of locale-adaptive pages
作者: 软件工程搜索基础架构小组的 Qin Yin 和网站站长趋势分析师 皮埃尔·法 (Pierre Far)

语言区域自适应网页可根据用户的语言或系统检测到的用户所在地理位置改变显示的内容。在默认情况下,Googlebot 在请求网页时并不会设置 Accept-Language HTTP 请求标头,并且会使用看似位于美国境内的 IP 地址,因此对于语言区域自适应网页来说,系统可能无法将其所有内容版本都完全编入索引。
目前我们为 Googlebot 推出了新的语言区域感知抓取配置,专门用于抓取内容会根据请求者的语言以及所检测到的地理位置而调整的网页。具体配置如下:
  • 基于地理位置的抓取 :除了 Googlebot 目前使用的位于美国境内的 IP 地址外,Googlebot 还将开始使用位于美国境外的 IP 地址。
  • 基于语言的抓取 :Googlebot 将开始在抓取时使用包含 Accept-Language HTTP 标头的请求。

系统会自动对检测到的语言区域自适应网页启用这些新的抓取配置,因此您可能会注意到我们的抓取方式和您网站在 Google 搜索结果中的显示效果会有所变化(您无需更改自己的 CMS 或服务器设置)。
请注意,这些新的配置推出后,以下建议 依然 适用:为每个语言区域使用带 rel=alternate hreflang 注释 的单独网址。我们将继续支持并建议使用单独的网址,因为这样仍是吸引用户互动和分享内容的最佳方式,而且能够让您的所有内容版本都尽可能编入索引并获得较高的搜索排名。
和以往一样,如果您有任何问题或反馈,请通过 internationalization 网站站长帮助论坛 告诉我们。