为什么要把抓取频率当成一个指标

很多人做蜘蛛池只看两件事：铺了多少入口页、蜘蛛来了多少次。但真正决定这套东西能不能长期跑的，是蜘蛛来的节奏。同样的入口页规模，有的站每天被稳稳抓几百次，有的站前几天很猛、后面直接归零。差别往往不在页面本身，而在抓取频率和服务器响应之间的关系。

抓取频率本质上是蜘蛛把有限的抓取资源分给你的比例。你无法命令它来，但可以通过响应速度、状态码稳定性和入口页的更新节奏，影响它愿不愿意继续来。

先从日志里读出三个数

• 单 IP 单位时间的请求数：同一段蜘蛛 IP 在 1 分钟内命中你多少页。这个数突然翻几倍，通常意味着入口页被大量互链或 sitemap 一次性暴露。
• 请求之间的间隔分布：是均匀扫，还是每隔几小时集中突刺一次。突刺型往往是外链或导流页面在起作用，均匀型更像常规回访。
• 状态码分布：200 占比高说明大部分抓取是有效的；5xx、超时、429 变多，说明压力已经超过承载。

这三个数放在一起看，比单看总抓取量有用得多。总抓取量涨了，但 5xx 也涨了，这不算好消息。

来得太密：先看服务器扛不扛得住

抓取变密本身不代表坏事，但如果你的响应开始变慢、超时增多，蜘蛛会把这理解成站点不稳定，接下来自然是降频。典型信号包括：

• 日志里同一 IP 短时间内请求数百页，紧接着出现大量 499、502、504。
• 页面响应时间从几百毫秒涨到几秒。
• 抓取结束后隔天访问量明显下滑，而不是维持或上升。

不要用脚本 sleep、JS 延时加载这类方式人为拖慢响应来“省资源”。蜘蛛看到的是超时和状态码异常，处理成本比多给一点带宽更高。

来得太稀：问题多半不在蜘蛛身上

如果入口页铺了不少，蜘蛛每天只零零散散来几趟，先别急着加资源，按这个顺序排查：

• 入口页是否真的能被外部发现：有没有可访问的入口链接、sitemap 是否包含这些 URL。
• 入口页之间是否互链成一张能走通的网，还是各自孤岛。
• 页面内容是否长期不变，导致蜘蛛判定没有回访价值。
• 是否被 CDN、WAF 或 robots.txt 在不经意间挡掉了一部分请求。

这几点都正常，再考虑是不是入口页数量已经超出你服务器能稳定承载的范围——铺得越多、单页响应越慢，整体抓取效率反而下降。

服务端限速怎么做更稳

限速的目的不是赶走蜘蛛，而是把并发控制在服务器能稳定响应的区间内。可参考的做法：

• 用 Nginx 的 limit_req、limit_conn 按 IP 或 IP 段做温和限速，阈值设在正常抓取峰值的 1.5 到 2 倍。
• 被限速时优先返回 429 或 503，并带上 Retry-After 头，而不是直接断开连接。
• 静态化的入口页尽量走缓存或 CDN，把动态查询留给少量核心页。
• 限速规则改动后观察两三天的状态码分布，再决定是否继续收紧。

入口页分层与调整顺序

不必让所有入口页享受同等待遇。可以把页面分成两层：核心入口页保持响应快、状态稳定，用于承接主要抓取；长尾入口页可以放在带宽较宽但优先级较低的机器上。调整时按下面的顺序走：

1. 先修状态码和超时，保证 200 占比稳定。
2. 再看单 IP 请求数是否需要限速。
3. 然后才考虑增加入口页数量或资源。
4. 每次只改一个变量，观察至少 3 到 7 天。

几个常见误区

• 认为抓取越多越好：超出承载的抓取只会带来更多超时和更差的回访。
• 用总访问量当唯一指标：不看状态码和响应时间，等于不知道这批抓取有没有价值。
• 频繁大改服务器配置：抓取数据波动需要时间沉淀，一天改三次很难判断哪次起了作用。
• 把降频全归因于“蜘蛛不给面子”：多数时候先看自家响应速度和入口页质量更实际。

抓取频率是结果，不是目标。把响应稳定性、状态码质量和入口页的更新节奏顾好，频率自然会落在与你服务器能力相匹配的区间里。