做蜘蛛池的时候，很多人会默认一件事：只要入口页被搜索蜘蛛抓到了，上面的目标URL迟早也会被抓。实际操作中却发现，入口页日志里蜘蛛来得挺勤，可目标URL的抓取记录一直空着。这种情况往往和链接层级有关，而不只是入口页本身有没有被爬。
搜索蜘蛛面对多层链接时的实际行为
搜索蜘蛛抓页面不是无限制的。它会在有限的抓取配额和时间里，按一定优先级决定先抓哪些URL。层级浅、离站点入口近、被多次引用的页面，通常排在前面；层级深、只有一条路径能到的页面，排队位置靠后，甚至这一轮根本轮不到。
蜘蛛池入口页如果把目标URL直接放在正文里，路径就是“入口页→目标URL”，两层就到。如果中间还夹着跳转页、聚合页、分页，路径变成三层四层，被抓到的概率和等待时间都会变得不确定。
层级太深通常会有这些表现
- 入口页抓取日志正常，但目标URL始终没有蜘蛛记录；
- 目标URL偶尔被抓一次，之后很长时间不再回访；
- 被抓的是中间的跳转页，真正要推的页面一直排在后面；
- 同一批URL里，靠前的先被抓，藏在列表深处的迟迟不动。
把目标URL路径缩短的几个做法
- 入口页正文直接放链接。能一行写完的就不要绕，减少中间跳转页。
- 控制单页链接数量。一个页面上几十上百条链接，蜘蛛分给每条链接的注意力会被稀释，重要目标URL反而容易被忽略。
- 让目标URL在页面里出现不止一次。正文一次、相关推荐一次，通常比堆在页脚更有意义。
- 用可抓取的静态链接。a 标签的 href 指向真实地址，不要只靠脚本事件触发。
- 配合 sitemap 或站内提交。这不等于收录，但能给蜘蛛一条更直接的发现路径。
入口页数量多，不代表层级就浅
有人习惯用大量入口页覆盖同一个目标URL，觉得总有一条能被抓到。入口页多了确实会多出几条路径，但如果每条路径都很绕，效果仍然有限。相比数量，路径是否直接、入口页本身是否稳定被抓，更值得关注。另外，入口页如果自己都很少被抓，多堆几个也不会立刻改变局面。
怎么确认是不是层级问题
- 看入口页的服务器日志，确认蜘蛛确实抓过页面本身；
- 在入口页的 HTML 源码里搜索目标URL，确认它出现在可抓取的位置，而不是被脚本后置插入；
- 对比目标URL的路径长度和站内被抓得较勤的页面，看看差在哪里；
- 连续观察一段时间，不要只看一两天就下结论。
抓取深度只是影响因素之一。页面自身质量、站点整体被抓取的健康度、目标URL的状态码和内容，同样会让结果不一样。把层级理顺，只是把“被发现”这一步的门槛降低，不代表一定会有收录或排名。
简单说，蜘蛛池入口页要做的是给目标URL一条尽量短、尽量稳的路径，并且定期回头检查这条路径有没有被改坏。层级越浅、路径越清晰，目标URL进入搜索蜘蛛视野的机会就越大；剩下的，还是要靠页面本身的表现。