你在浏览器里能切换语言,不代表 Googlebot 一定能看到相同版本。如果同一个 URL 根据 IP、Cookie 或浏览器偏好返回不同内容,就需要检查发现与抓取方式。
不要假设爬虫会发送你的语言偏好
Google 当前文档说明,Googlebot 请求不设置 Accept-Language 请求头。它既可能使用美国 IP,也可能从其他地区抓取。网站不能依赖一次地区判断,就认为所有语言都能被处理。
给重要版本独立地址
为需要被搜索发现的语言或地区版本提供稳定 URL,并有可抓取的切换链接。用户应能主动访问其他版本,而不是不断被强制跳回系统推断的地区。
检查实际响应与内容
比较无 Cookie、不同语言设置和适当测试位置下的访问结果,记录状态码、跳转和正文。检查 CDN、安全规则与缓存,避免某些地区只能看到错误页或错误语言。
不要给爬虫专门展示与同地区用户不一致的排名内容。需要验证日志里的 Googlebot 时,应按官方方法确认,不能只看 User-Agent 名称。
版本关系也要正确
独立地址之外,还需核对 canonical、hreflang 和页面对应关系。指向失效地址或无关首页的标签,不能完成正确的语言说明。
配置背景可查Google 对语言自适应页面的说明,并结合hreflang 检查清单复核。
多语言 SEO 不需要寻找某个“国际 Googlebot 开关”。让各版本能被独立访问和发现,再准确表达它们之间的关系,才是更可靠的基础。