蜘蛛池的效果，往往不取决于蜘蛛来了多少次，而取决于它进来之后往下走了几层。抓取总量看着不错、目标页却始终没有访问记录，是运营里最常见的一种“假热闹”。
先明确“深度”指哪几件事
- 链接深度：从入口页算起，目标 URL 在第几跳被访问到，是一跳、两跳还是三跳以上。
- 会话深度：同一次抓取会话里，蜘蛛连续访问了几个页面才离开。
- 回访深度：同一个 URL 被发现之后，隔多久被第二次访问。
这三者要分开看。会话深度高但链接深度低，说明蜘蛛在入口页附近打转；链接深度够但回访深度差，说明页面被发现了却没被持续关注。
从服务端日志里读深度
用 referer 串出访问链路
如果日志保留了 referer 字段，可以按时间排序，把同 IP、同 UA 的连续请求拼成一条路径：入口页、中间页、目标页。哪一环断掉，基本就是深度止步的位置。要注意部分爬虫不发送 referer，这时只能依靠时间窗和 UA 归并来判断。
看 URL 路径的规律
把目标页的目录层级，和日志里实际被访问到的层级做对比。如果入口页被访问很多次，中间层几乎没有记录，说明蜘蛛没有沿着链接继续走；如果中间层有记录、最后一层没有，问题多半出在中间页的出口或目标页自身。
看请求间隔
同一 IP 在一两秒内连续请求多个页面，通常属于顺着链接展开；如果每次只来一个页面、间隔很久，更像是被外部触发的单页访问，深度一般不会自己涨上去。
哪些因素会限制深度
- 入口页可点的链接太少或位置太隐蔽，蜘蛛找不到继续走的路。
- 中间层返回 3xx、404 或超时，链路直接中断。
- 目标页依赖脚本渲染，抓取端拿到的 HTML 里没有可跟随的链接。
- 目录层级过深，或同类页面互相争抢内链，抓取被分散。
- 抓取预算被大量低价值地址占用，蜘蛛没有余力走深。
几个常见误区
抓取量大不等于抓得深；sitemap 提交了不等于会被逐个抓取；入口页链接多不等于路径通畅。
把入口页做成链接墙，短期可能抬高总请求数，但如果中间环节没有可读内容、跳转链条不连贯，蜘蛛走两步就回头，目标页依旧拿不到有效访问。深度更像一个结构问题，而不是靠堆量能解决的问题。
可以按顺序落地的检查
- 连续导出三到七天的日志，按 UA 筛出爬虫请求。
- 统计每个入口页的后续请求数，判断是单页访问还是有链路展开。
- 抽查被访问到的最深一层地址，看它是否就是目标页。
- 对断链位置逐个核实状态码和响应时间。
- 调整入口页链接位置与中间层结构后，再观察一轮，只比较同一指标的前后变化。
使用建议
深度是慢变量，通常需要一到两周的日志才能看出趋势，不必每天盯着看。把“目标页被访问的比例”和“被访问到的平均层级”作为长期观察项，比盯抓取总量更接近真实情况。