不少人在日志里看到搜索蜘蛛访问了蜘蛛池入口页，就默认目标URL很快会被收录。实际跑一段时间后，目标URL可能一直没出现在索引里。这时需要先区分一件事：搜索蜘蛛抓取入口页，和它是否跟进链接、是否把目标URL放入索引，是三件不同的事。
抓取入口页不等于索引目标URL
搜索蜘蛛抓取入口页，只说明它发现了这个页面。至于它会不会顺着页面里的链接继续访问目标URL，以及目标URL最终是否被索引，还要看链接位置、链接数量、目标URL自身状态、站点整体抓取预算等因素。蜘蛛池入口页能提供一条发现路径，但不决定收录结果。
目标URL没有进索引的常见原因
1. 目标URL本身不可访问或状态码异常
如果目标URL返回404、410、5xx，或者频繁超时，搜索蜘蛛即使从入口页发现了它，也不会继续把它当作有效页面处理。有些站点会返回302跳转到其他地址，或者用JS跳转，这些都会增加搜索蜘蛛判断的难度。
2. robots 或 meta robots 限制了抓取和索引
目标URL自身的 robots.txt 如果屏蔽了搜索蜘蛛，或者页面里写了 noindex，那么即使搜索蜘蛛抓取了入口页，也不会索引目标URL。另外，入口页如果对链接加了 nofollow，搜索蜘蛛跟进目标URL的意愿会降低，但这不是绝对不跟进，需要结合日志判断。
3. 目标URL内容质量或重复度过高
搜索蜘蛛抓取页面后，会判断内容是否值得索引。如果目标URL内容很薄、大量采集、和站内其他页面高度重复，或者只是列表页、标签页，索引概率会明显下降。这种情况下，问题不在蜘蛛池入口页，而在目标URL本身。
4. 入口页链接数量多、位置靠后
入口页如果铺了几百上千个链接，搜索蜘蛛不一定全部跟进。链接越多，单个链接获得的关注度越低。放在页面底部、折叠区域或大量导航中的链接，被跟进的概率也会下降。可以对比日志，看搜索蜘蛛实际抓取了哪些链接。
5. canonical 或参数导致URL被合并
目标URL如果带有跟踪参数，或者页面里的 canonical 指向了另一个地址，搜索蜘蛛可能把权重和索引信号集中到 canonical 指向的URL上。结果是目标URL被抓取了，但索引里出现的是另一个版本。
6. 抓取预算被入口页占用
蜘蛛池入口页如果数量很多，而且内容质量低，搜索蜘蛛可能把大量抓取额度花在入口页上，留给目标URL的抓取次数反而有限。尤其在站点规模较大时，抓取预算的分配会更明显。
怎么核对和调整
遇到“入口页被抓、目标URL没索引”的情况，可以按下面顺序排查：
- 在服务器日志里筛选搜索蜘蛛，确认它是否访问过目标URL。如果没访问过，重点看入口页链接是否被跟进。
- 检查目标URL的HTTP状态码，确保返回200，并且没有跳转链。
- 检查目标URL的 robots.txt、meta robots、canonical 设置，排除主动屏蔽或错误指向。
- 评估目标URL的内容质量，看是否与站内其他页面重复，是否有独立价值。
- 适当减少单个入口页的链接数量，把重要目标URL放在更靠前、更显眼的位置。
- 观察一段时间内的抓取日志，不要只看一两次访问就下结论。
蜘蛛池入口页的作用是增加URL被搜索蜘蛛发现的路径，而不是保证收录。发现之后是否抓取、是否索引，仍然取决于目标URL本身和站点整体情况。
小结
搜索蜘蛛抓取蜘蛛池入口页，只是URL发现环节的一部分。目标URL没进索引时，优先排查目标URL的状态码、robots设置、内容质量和canonical，再回头看入口页的链接布局和抓取预算。把抓取和索引分开看，排查会更有方向。