给蜘蛛池入口页加上 noindex，是不少站点运营者会做的选择：既想让入口页承担链接分发的作用，又不想让它出现在搜索结果里。加完之后最常见的疑问就是——搜索蜘蛛还会不会顺着页面里的链接，继续去抓目标 URL？
noindex 管的是索引，不是抓取
noindex 是一个索引层面的指令，它表达的是“不要把这一页放进索引”，而不是“不要来抓这一页”。只要页面本身没有被 robots.txt 屏蔽，搜索蜘蛛依然可以正常请求、下载和解析它。解析之后，页面里的 <a href> 这类普通链接仍然会被提取出来，作为新的 URL 候选进入待抓取队列。
所以从抓取链路上看，noindex 并没有切断“入口页 → 目标 URL”这条路。真正被改变的是另一件事：入口页自己不会出现在搜索结果中。
哪些写法会真正影响链接被发现
和 noindex 容易混淆的是以下几种情况，它们对链接发现的影响完全不同：
- robots.txt 里 disallow 了入口页：蜘蛛不能抓取页面内容，自然也就读不到里面的链接，链接发现会被直接掐断。
- 链接本身带 rel="nofollow"：属于对单条链接的提示，蜘蛛是否跟随由搜索引擎自行判断，不确定性较大。
- 链接依赖 JavaScript 才能插入：需要经过渲染环节才能看到链接，发现时机会被推迟，能否被抓取决于渲染与抓取资源的分配。
- 链接放在登录墙、人机验证之后：页面内容拿不到，链接同样拿不到。
可以这样理解：noindex 影响的是“要不要收录这一页”，robots.txt 影响的是“能不能读这一页”，nofollow 影响的是“这条链接值不值得跟”。三者的作用点并不一样。
入口页用 noindex 时的几个注意点
- 确认写的是 noindex 而不是 none。meta robots 里只写 noindex 时，跟随行为默认仍然是 follow；如果想写明确一些，可以用 noindex, follow。
- X-Robots-Tag 与 meta robots 二选一即可。HTTP 响应头里的 X-Robots-Tag: noindex 同样只作用于索引层面，对页内链接的发现没有直接阻断作用。
- 不要把 noindex 当成控制抓取频率的工具。它一般不会明显减少蜘蛛对入口页的访问，抓取节奏更多和站点整体响应速度、更新频率、历史表现有关。
- 入口页数量很大时，大量 noindex 页面同样会占用一部分抓取资源，只是不会被索引，这一点在做批量入口页时需要心里有数。
怎么验证链接有没有被继续抓取
与其猜测，不如用几组可对照的信号来判断：
- 看服务器日志里目标 URL 是否出现了搜索蜘蛛的访问记录，重点看访问时间是否集中在入口页被抓取之后。
- 用站点管理后台的 URL 检查工具查看入口页状态，确认返回的是“已排除：noindex”而不是“已被 robots.txt 屏蔽”。
- 抽查目标 URL 的抓取情况，注意区分“被抓取”和“被收录”，这两件事并不等同。
如果入口页在 robots.txt 里被屏蔽，同时又期待蜘蛛顺着链接去抓目标 URL，这是自相矛盾的设置，比对日志时很容易误判成“蜘蛛不来”。
小结
入口页加 noindex 之后，搜索蜘蛛通常仍会抓取该页并跟随其中的普通链接，noindex 只是让入口页自己不进入索引。真正需要留意的是 robots.txt 屏蔽、nofollow、JS 渲染和登录墙这几类会改变链接发现路径的设置。建议把入口页的指令写清楚，再用服务器日志和管理后台的抓取记录交叉核对，而不是仅凭 noindex 三个字就下结论。