给入口页加 noindex 是很常见的操作：不希望入口页本身出现在搜索结果里，只让它充当一个链接中转站。但很多人这时会冒出一个疑问——页面既然都不让收录了，那里面的链接搜索蜘蛛还会不会跟？这个问题的答案，取决于你有没有把 noindex 和 nofollow 混为一谈。
先把 noindex 和 nofollow 分清楚
这两个指令管的事情完全不同：
- noindex：告诉搜索引擎这个页面不要放进索引，但页面本身仍然可以被抓取，页面上的链接也仍然可能被识别和跟随。
- nofollow：作用在单条链接上，表示这条链接不传递权重。至于还抓不抓，不同引擎的处理并不完全一致。
所以页面级别的 noindex，并不等于页面里的链接失效。把这两件事放在一起谈，很容易得出错误结论。
搜索蜘蛛怎么处理 noindex 页面上的链接
有个前提容易被忽略：蜘蛛要读到 noindex 这个标记，本来就得先把页面抓下来。页面被抓取之后，正文里能解析出来的标准 a 标签链接，通常会被提取出来进入待抓队列。也就是说，noindex 主要影响的是这个 URL 会不会出现在搜索结果里，而不是它上面挂着什么链接。
不过要让这套逻辑成立，还得满足几个条件：
- 搜索蜘蛛必须真的能抓到页面。如果同时用 robots.txt 屏蔽了整个目录，蜘蛛压根不会来，noindex 也没机会被读到，链接自然也就无从发现。
- 链接要是可解析的标准形式。用 JavaScript 临时插入、或者只挂在图片点击事件上的链接，发现率会明显下降。
- 入口页本身得有机会被访问。没有任何外部或内部链接指向它、也没提交过 sitemap，蜘蛛就没有理由主动去抓。
给入口页加 noindex 前，先想清楚你要什么
- 只想避免入口页出现在搜索结果里——noindex 是对路的做法。
- 想让入口页彻底不被抓取——那是 robots.txt 或者反爬策略要解决的问题，但这样目标链接也会一起被切断。
- 想控制链接的权重传递——那应该用 nofollow 或者其他方式，而不是 noindex。
把 noindex 当成整页的开关，是最常见的误用。它更像是在说：这页别上台亮相，但可以继续留在后台。
几个容易踩的细节
1. HTTP 头和页面内标记冲突
响应头里的 X-Robots-Tag 和页面里的 meta robots 如果都设置了，规则会叠加。只要任意一处写了 noindex，页面基本就不会进索引。
2. 长期没人抓的入口页，写什么都没有意义
如果入口页本身没有外链、也没提交 sitemap，抓取频率会很低甚至为零。这种情况下页面上写了什么标记都无所谓，因为蜘蛛根本不来，目标链接也就谈不上被发现。
3. 别把 noindex 和 robots.txt 一起用
这是很典型的一个坑：robots.txt 一旦屏蔽了入口目录，蜘蛛就没机会读到页面里的 noindex。要是页面上还放着目标链接，等于连链接一起被拦在门外。
落地时的检查清单
- 确认入口页没有被 robots.txt 整体屏蔽；
- 确认目标链接是 HTML 里可直接解析的 a 标签，不依赖脚本渲染；
- 确认入口页本身有被访问的路径，比如外链、sitemap 或蜘蛛池内其他页面的指向；
- 到服务器日志里核对，搜索蜘蛛是否真的抓过这个入口页。
最后提醒一句：noindex 能让入口页不进索引，但它并不保证目标 URL 一定被发现，更不保证被收录。它只是一个指令，实际效果取决于抓取有没有发生、链接是否可解析，以及目标站自身的情况。