为什么抓取深度值得单独看
蜘蛛池解决的是“URL被发现”的问题，但发现之后蜘蛛愿不愿意继续往下走、能走到第几层，取决于路径设计。入口页抓到了，不代表目标页会被抓。蜘蛛在站内的抓取深度和抓取量都是有限的，路径越长、分叉越多，目标页被漏掉的概率越高。
很多站点的问题不是入口页没被抓，而是目标页藏在三四层之后，蜘蛛爬到一半就停了。观察日志时，可以重点看蜘蛛到达的层级分布：如果大部分抓取集中在入口页和中转页，目标页到达率很低，就要检查路径是不是太深。
抓取深度常见的三种失控情况
1. 跳转链过长
入口页302到中转页，中转页再跳一次，最后才到目标页。每一次跳转都可能让蜘蛛重新判断，也容易在中途丢失继续抓取的动力。能一跳到达的，不要做三跳。
2. 目录层级过深
目标页被放在/a/b/c/d/e/这类深层目录里，链接又只靠上一级页面传递。蜘蛛从入口页进来，要逐层向下，深度很快被消耗掉。
3. 链接入口太分散
入口页只链接了少量目标页，其余目标页要靠列表页翻页、相关推荐、标签页慢慢发现。路径不固定，蜘蛛每次走的路线不一样，部分页面自然覆盖不到。
层级与路径怎么设计更稳
- 控制在两到三跳以内。入口页直接链接到目标页，或通过一个中转层聚合后再链接目标页。每多一层，到达率就往下掉一档。
- 给每个目标页至少一个稳定入口。不要只靠偶然的内链推荐。可以在入口页或聚合页设置固定区块，让目标页有可预期的链接来源。
- 扁平化目录结构。目标页的URL层级尽量浅，别把关键词和分类全塞进路径里。层级浅，链接传递也更直接。
- 用聚合页收拢深度。如果目标页数量多，做一个按主题或时间聚合的中间页，让蜘蛛从入口页一步进入聚合页，再从聚合页拿到一批目标页。
- sitemap作为补充，不替代路径。sitemap能帮助发现，但蜘蛛是否继续抓取，仍要看页面之间的链接是否顺畅。
用日志验证深度是否合理
调整之后不要只看入口页的抓取量，要看目标页的到达情况。可以按以下顺序检查：
- 入口页被抓后，紧接着抓了哪些URL，是否进入中转页或目标页。
- 目标页的抓取次数是否稳定，还是只在刚上线时被抓一两次。
- 蜘蛛到达的层级是否集中在某一层，深层页面是否长期没有记录。
- 跳转链路上的状态码是否正常，中间页有没有出现404、500或超时。
如果入口页抓取正常，但目标页长期没有抓取记录，优先怀疑路径过长或链接入口不稳定，而不是继续堆入口页数量。
调整时的几个注意点
抓取深度不是越浅越好，也不是链接越多越好。入口页堆几百个链接，反而会分散蜘蛛的注意力，单个目标页分到的抓取机会更少。
- 减少不必要的跳转，能直接链接就不要中转。
- 入口页的链接数量保持克制，优先放重要的目标页。
- 改动路径后观察一段时间，不要一天内反复调整结构。
- 蜘蛛池只是辅助发现，路径理顺后仍要结合站点自身的内容和更新节奏。
抓取深度的控制，本质是让蜘蛛用更短的路径、更少的判断成本到达目标页。先把入口页到目标页的链路做短、做稳，再谈放量和资源扩展，顺序会更顺。