蜘蛛池里被讨论最多的通常是入口页本身，但入口页只是起点。真正决定目标页能不能被抓到的，是入口页到目标页之间隔了几跳。蜘蛛顺着链接往下走，每多一跳就多一次分叉，也多一次被放弃的机会。
链接深度到底影响什么
搜索蜘蛛的抓取资源是有限的：单个站点每次来访能抓的 URL 数量、愿意停留的时间、对深层页面的耐心，都有上限。层级浅的页面更容易被反复抓，层级深的页面往往只有少量机会，甚至长期不被访问。
对蜘蛛池来说，这一点会被进一步放大。入口页数量多、目标页更多，如果每个入口页都要经过三四层才能触达目标，蜘蛛很容易在中间层就把预算用完了。
入口页在结构里的位置
比较清晰的设计是把入口页当作分发节点，而不是内容终点：
- 入口页只做一件事，把蜘蛛引向下一层；
- 第二层承担分类或聚合，把同类目标页归到一起；
- 第三层才是目标页，或者干脆让目标页直接出现在第二层。
如果入口页既想承载内容，又想当分发页，往往两边都做不好——链接堆得多，内容又单薄。
从入口到目标，几跳比较合适
经验上，两跳以内最稳，三跳是常见上限，四跳以上就要重新考虑了。
- 直接链接：入口页直接连到目标页。适合目标页数量不多的场景，抓取路径最短。
- 一层中转：入口页 → 列表页 → 目标页。这是最常见的结构，兼顾数量和可控性。
- 两层中转：入口页 → 分类 → 子分类 → 目标页。只有当目标页数量很大、确实需要分类时才用。
判断标准不是能不能走到，而是蜘蛛在有限的抓取里愿不愿意走到。
几种看起来浅、实际很深的写法
- JS 生成的链接：HTML 里没有 href，蜘蛛需要执行脚本才能看到，很多情况下等同于没有链接。
- 跳转链：入口页跳到中转页，中转页再跳向目标页。每多一次跳转就多一层不确定性。
- iframe 嵌套：嵌在框架里的链接传递效果弱，层级判断也容易混乱。
- 参数分页：把目标页藏在第 12 页之后，蜘蛛不一定翻那么深。
- nofollow 用错：本意是控制权重分配，结果把通往目标页的路径也切断了。
怎么确认实际深度
别只看页面结构图，要看日志。入口页上线一段时间后，检查日志里不同层级的抓取分布：
- 第二层页面有没有被稳定抓取；
- 目标页出现的频率，和入口页的访问次数是否成比例；
- 哪些链接从没被抓过，它们在结构里的位置有什么共同点。
如果第二层抓得少，先查入口页的链接是不是太少或太隐蔽；如果第二层正常、第三层几乎没有，说明中转层没有把路径清楚地交出去。
几个常见误区
把目标页全堆在入口页上，以为链接越多越好，结果入口页变成链接列表，蜘蛛抓到的东西反而更杂。
- 认为只要连得上就会抓，忽略抓取预算和耐心；
- 层级设计得不错，但链接是脚本生成的；
- 入口页数量扩了，中转层没扩，引发瓶颈；
- 没有文字锚文本，链接含义不清，蜘蛛和用户都难判断指向。
收尾建议
先用少量入口页验证一条路径：入口 → 中转 → 目标，看日志里蜘蛛能不能按预期走完。确认之后再扩入口页数量和中转层，而不是一开始就铺满。链接深度是结构问题，改起来成本不算高，但拖得越久，抓取数据和实际结构越难对上。