先把两个指令分开看
很多人把 noindex 和 robots.txt 里的 disallow 当成同一类“不让收录”的设置。实际它们作用在不同环节：disallow 管的是抓取，noindex 管的是索引。若一个 URL 被 disallow 屏蔽，搜索引擎通常不会去抓取，也就看不到页面里的 noindex；如果同时又希望它不进入索引，这种组合反而可能让指令失效或延迟生效。
一个常见的矛盾配置：robots.txt 里 disallow 了某个目录，页面里又写了 noindex。抓取被挡住，noindex 可能永远不会被读到。
noindex 的几种写法
noindex 可以出现在 HTML 的 meta 标签里，也可以放在 HTTP 响应头的 X-Robots-Tag 中。对非 HTML 文件，比如 PDF、图片、视频，通常只能用响应头的方式。写法上要注意：
- meta 标签：name=robots，content=noindex：页面级指令，作用于当前 URL。
- X-Robots-Tag: noindex：响应头指令，适合非 HTML 资源，也可用于整站或目录。
- noindex, nofollow：同时禁止跟踪链接，但两者是独立开关，不要默认捆绑。
如果只想让某个页面不进入索引，但希望蜘蛛继续抓取并发现其他链接，一般只需要 noindex，不需要加 nofollow，也不需要去 robots.txt 里 disallow。
自查顺序：从页面到响应头，再到 robots.txt
当发现一个本该收录的页面没有出现在索引里，或者搜索 site 指令查不到，可以按下面顺序排查：
- 查看页面源代码，搜索 meta robots，确认有没有 noindex，以及是否被模板批量输出。
- 用抓取工具或浏览器开发者工具查看 HTTP 响应头，检查 X-Robots-Tag 是否带了 noindex。
- 检查 robots.txt 是否 disallow 了该 URL 或所在目录。如果 disallow 存在，先判断它是否必要。
- 查看 canonical 是否指向了别的 URL。canonical 不直接禁止索引，但可能让当前 URL 被合并。
- 确认页面返回的状态码。noindex 只对可正常访问的页面有意义，404、410 本身就不会进入索引。
排查时不要只看一个入口。模板、CMS 插件、CDN 边缘规则、服务器配置都可能加上 noindex 或 X-Robots-Tag。
移除 noindex 之后，收录不会立刻回来
把 noindex 去掉只是打开了“允许索引”的开关。搜索引擎还需要重新抓取这个 URL，才能看到更新后的指令。这个周期取决于抓取频率、页面重要性、内链和站点整体更新节奏。可以做的动作包括：
- 确认页面现在返回 200，并且内容可正常访问。
- 在 sitemap 中保留该 URL，并更新 lastmod 为实际修改时间。
- 从相关页面添加内链，帮助蜘蛛重新发现。
- 如果页面重要，可以在 Search Console 等工具中提交单个 URL 抓取请求，但不要反复提交。
提交之后仍然需要等待。索引状态可能先变成“已发现”或“已抓取”，再进入“已编入索引”，中间有时间差。
容易忽略的几个点
- 分页与筛选参数：如果模板给所有带参数的 URL 加了 noindex，要确认是否误伤了需要收录的主列表页。
- 标签页和聚合页：noindex 可以作为收敛手段，但前提是这些页面确实没有独立搜索价值，而不是为了省事一刀切。
- 移动版与桌面版：移动优先索引下，要检查移动版页面是否带了 noindex，而桌面版没有。
- HTTP 与 HTTPS、www 与非 www：noindex 可能只加在了其中一个版本上，另一个版本仍然被索引。
小结
处理 noindex 相关的收录问题，核心是分清抓取和索引两个环节：disallow 可能让 noindex 读不到，noindex 才是控制是否建索引的指令。恢复收录时，先移除多余指令，再保证页面可抓取、可访问，并通过内链和 sitemap 帮助发现。至于最终是否收录、多久收录，仍由搜索引擎根据页面质量和站点情况决定，没有固定的时间承诺。