文章发布后一直没有收录,检查发现模板里还留着测试站的noindex。这类问题不在文案,而在页面向搜索引擎发送了什么指令。

Meta Robots和X-Robots-Tag用于表达相应的索引与展示要求。修改前先明确目的,发布后再检查实际输出,不能只看后台开关的名称。

Meta Robots和X-Robots-Tag怎么用,别把页面误设成不收录,正文内容要点图

两种方式,发送位置不同

HTML页面可以在head中输出robots元标签。例如,下面的示例要求适用爬虫不索引该页面:

<meta name="robots" content="noindex">

X-Robots-Tag通过服务器的HTTP响应头发送,同样可以用于HTML,也适用于PDF等无法直接放置HTML元标签的资源:

X-Robots-Tag: noindex

这些只是说明语法的示例,不应直接复制到希望收录的文章。响应头需要在服务器、CDN或应用的合适位置配置。

常用指令分别控制什么

指令 需要理解的用途
noindex 要求不将相应页面纳入索引
nofollow 表达对页面链接跟随的限制意图,不能当成阻断目标URL发现的安全措施
nosnippet 限制相应搜索摘要展示
max-snippet、max-image-preview等 对支持这些指令的展示设置相应预览限制

不同搜索引擎的支持范围应查各自文档。不要默认Google支持的每一项都能在百度或其他平台获得完全相同的效果。

noindex需要能够被读取

如果同时在robots.txt中禁止抓取,搜索引擎可能读不到页面或响应头中的noindex。因此,“禁止抓取”和“不让索引”不能简单叠加当成更彻底的做法。

已知URL即使被限制抓取,也可能以某种形式出现在结果中。需要保护内部资料时,应使用真实访问权限,robots规则不是密码保护。

重复配置可能产生意外结果

CMS、SEO插件、模板、服务器和CDN可能同时发送规则。HTML看起来允许索引,但响应头仍带noindex,页面就可能不符合原本的发布意图。

检查通用robots与特定爬虫设置,并按目标搜索引擎的规则解释组合效果。Google遇到相互冲突的适用限制时,通常采用更严格的限制,不能指望后写一条index就覆盖所有noindex。

旧教程里的指令也要核对

例如,Google已不再使用noarchive控制过去的缓存链接展示,因为该缓存链接功能已经移除。继续把它当作当前必需SEO设置,会让维护人员误解用途。

完整语法和当前支持情况以Google的robots元标签文档为准。不要为所有页面盲目添加一长串指令。

上线时按代表页面验收

抽查首页、产品、文章、分页和附件,查看响应头、原始HTML与适用的URL检查结果。修复误设后,还需要等待搜索引擎重新处理,不能承诺立即恢复展示。

把索引控制纳入技术SEO检查,尤其关注测试站转正式站和模板更新。规则越清楚,越容易避免一次配置影响大量页面。

0.019678s