讨论抓取时很容易陷入一个误区：凭感觉猜蜘蛛去了哪、卡在哪。实际上，多数问题在服务器访问日志里都留了痕迹——它从哪个地址进来、接着请求了什么、拿到的状态码是什么、等了多久。把这些字段按时间排好，一条抓取路径大致就能还原出来。
先分清哪些请求是蜘蛛
日志量大的站点，第一步是过滤。UA 字符串可以做初步筛选，但不要只依赖它：UA 可以伪造，蜘蛛池发出的请求也会混在里面。更稳妥的做法是结合反向解析或官方 IP 段做校验，把真实抓取与模拟抓取分开统计。否则后面得出的结论会被噪声带偏，看起来抓取很热闹，实际收录毫无变化。
值得长期盯的几个字段
- 请求时间与间隔：同一目录下连续请求的节奏，能看出抓取是在推进，还是每隔很久才回头一次。
- URL 与查询参数：带参数的地址占了多少比例，是否挤占了静态页面的抓取机会。
- 状态码分布：200、301、404、5xx 的比例变化，比单条记录更有参考意义。
- 响应时间：从服务器视角看它等了多久，是否已经接近超时的边缘。
- referer 与 UA：判断这次请求是从内链、Sitemap 还是外部链接进来的。
还原一条抓取路径
- 按时间排序，找出同一 UA 的连续请求序列。
- 给每条请求标上状态码，把跳转和错误单独拎出来。
- 看序列在哪一类 URL 上停下，停下前最后一个成功打开的页面，往往就是这条路径的出口。
- 对照站内真实的链接结构，确认这条路径是设计好的，还是偶然走到的。
这样跑几轮之后，常见现象会自己浮出来：蜘蛛总是止步于某个列表页的第二页；大量请求都落在筛选参数上，真正的详情页反而很少被打开；某个频道的页面几乎每天被抓，另一个频道几周不见一次。
几个典型的断点信号
- 404 集中在某个目录下：多半是链接没跟着改版更新。
- 301 出现多跳：一条重定向链把抓取额度白白消耗掉。
- 5xx 在短时间集中出现：抓取节奏被打断，恢复后往往需要重新试探。
- 响应时间逐周爬升：没有明显报错，但抓取变慢，单位时间能抓的页面变少。
- 某类 URL 只被请求一次就再也不来：可能被判定为低价值，需要从内容或链接上重新证明它的位置。
日志只能告诉你蜘蛛做过什么，不能告诉你它为什么这么做。所有结论最终都要落到可以改的地方：链接、状态码、响应速度。
把结论反馈到三个地方
- 内链：路径停下的那一层，补上指向下一层的明确链接，让下一跳不需要靠猜。
- Sitemap：只收录真正希望被抓的地址，参数页、重复页、空壳页不要一并塞进去。
- 服务器：把响应时间长期偏高的接口和页面排到前面处理，稳定性本身就是抓取效率的一部分。
两个容易误判的地方
一是把蜘蛛池的请求当成搜索引擎蜘蛛。请求量涨得很快、收录却不动，多半是这个原因，需要回到 IP 校验上核对。二是只看当天日志。抓取本身有周期性，至少拉一周甚至一个月的数据再看趋势，单日的波动说明不了太多问题。日志给的只是证据，方向仍然要自己判断，任何工具都不能保证收录结果。