有些页面需要让访客访问,却不希望作为搜索结果出现;另一些页面根本不应该让未授权的人看到。这两种需求,需要不同处理。

Noindex是一种索引指令。它可以要求支持该指令的搜索引擎不索引页面,但不能阻止别人通过链接、收藏或直接输入地址访问。

noindex:索引控制与访问权限分开,正文内容要点图

什么时候可以考虑使用

完成操作后的确认页、特定内部搜索结果或其他不适合单独参与搜索的公开页面,可以根据实际用途评估。不是所有网站都应该照着同一清单设置。

重要产品、分类和文章如果希望被搜索发现,先不要因为流量低或内容相似就直接noindex。应该查清问题,再决定完善、整合或调整。

HTML页面与其他文件怎样表达

HTML通常在head中使用如下元标签:

<meta name="robots" content="noindex">

PDF等资源可以由服务器发送相应HTTP响应头:

X-Robots-Tag: noindex

配置可能来自CMS、插件、模板、服务器或CDN。实际使用时应确认作用范围,避免一个全局开关影响所有页面。

不要同时把读取入口堵住

搜索引擎需要取得相关响应,才能发现noindex。如果robots.txt阻止抓取,页面上的指令可能读不到。robots.txt中的noindex也不能当作Google支持的设置方式。

对于已收录页面,变化通常需要重新抓取和处理。不能保存设置后立即断言搜索结果已经消失,也不能承诺固定几小时完成。

私密资料要用访问控制

内部文件、客户信息和未公开项目,应通过登录、权限与适当服务器设置保护。网址不放进导航、加上noindex,都不能代替真正的访问限制。

测试站也应按实际需求保护,同时在转正式环境时检查遗留设置。测试时全站禁止索引,上线后忘记移除,是常见的发布问题。

重复内容先理解规范化目标

如果几个公开URL代表相同或很接近的内容,希望搜索引擎理解首选版本,通常需要研究canonical和其他规范化方法。

Noindex表达的是不希望相应页面参与索引,不应为了“传递权重”随意替代canonical。也不要给一个页面同时发送方向相互矛盾的信号。

发现误设,检查全部输出位置

先查HTML元标签和响应头,再查特定爬虫规则、缓存与模板。只把后台一个按钮关闭,不代表CDN或另一插件不会继续输出noindex。

修复后使用适用的URL检查工具核对当前抓取结果,维护正常内链与站点地图。恢复索引还取决于内容和其他条件,移除指令不是排名保证。

把希望索引与不希望索引的页面类型写清楚,配合robots指令检查定期抽样。管理目标明确,才不会在处理一个问题时误伤重要内容。

0.018106s