入口页上线之后，很多人盯着日志里的抓取次数，觉得数字涨了就是有效。但抓取次数只是过程量，它受爬虫预算、站点整体活跃度、时段波动的影响很大。同一批入口页，这周被抓 300 次、下周被抓 120 次，未必是你做对了什么或做错了什么。
想判断一批入口页到底有没有起作用，比较稳的办法是做一次简单的对照测试：留一组不动的作为基线，改一组作为实验，然后在同一时间窗口里对比。
先立基线，再谈效果
没有基线，“涨了”和“跌了”都只是感觉。基线的做法很简单：选一批已经在跑、配置一致的入口页，连续记录 7 到 14 天的数据，这段时间不做任何改动。记录每天的量、波动范围，以及有没有明显的异常日，比如某个时间段整体抓取掉了一半。
有了波动范围之后，后面的变化才有参照。如果基线本身每天的波动就在上下 40% 之间，那你改完之后涨了 20%，基本说明不了什么。
分组和控制变量
一次只改一个变量
入口页模板、主机资源、目标页分配、跳转方式、更新频率，这些都会影响结果。一次改三四个，就算数据变了，你也不知道是谁的功劳。建议第一轮只挑一个你最怀疑的点，比如“入口页模板里正文区块的差异度”，其他全部保持和基线一致。
分组规模别太小
十几个页面的样本，噪声很容易盖过真实的差异。如果资源允许，实验组和对照组各自至少几十个入口页，而且两组的域名、IP 分布尽量接近，避免出现“实验组全在 A 段、对照组全在 B 段”这种结构差异。
该看哪些指标
单看一个指标容易被误导，建议用一组能互相印证的量：
- 入口页被抓比例：这段时间里有多少入口页至少被访问过一次，比总次数更能反映覆盖面。
- 入口页到目标页的跳转次数：入口页被爬，不等于爬虫顺着走了下一步。
- 目标页被抓比例：这是最接近你真正目的的一个量。
- 目标页的重复抓取：同一目标页在一段时间内被访问多次，通常说明它被当成了稳定来源。
- 抓取的时间分布：集中在少数几天还是分散在整段时间，能看出入口页是“被顺路扫到”还是“被反复安排”。
这几个指标要一起看。只有入口页抓取涨、目标页纹丝不动，说明入口页更像是在消耗抓取预算，而不是在引路。
时间窗口和噪声
爬虫的抓取配额本身就有起伏，节假日、站点大范围更新、同 IP 段其他站点的变动，都可能干扰结果。两个建议：
- 实验组和对照组放在同一时间段跑，而不是“改之前 vs 改之后”。
- 观察期至少覆盖一个完整的抓取周期，通常两周起，别用两三天的数据下结论。
记录方式：一张表就够
不需要复杂系统，一张表按天记录就行：日期、组别、入口页抓取数、有抓取的入口页数、跳转次数、目标页抓取数，再加一列备注。坚持记两周，趋势比任何单项数据都清楚。
把“当天有没有别的人动了配置”也写进备注。很多看起来矛盾的数据，最后都是因为某个环节被顺手改过。
结论怎么用
对照跑完，大致会落到三种情况：
- 实验组明显好于对照组：可以把这个改动推广到其他批次，但一次扩量别太大，先扩一部分再看一周。
- 两组差不多：说明这个变量不是瓶颈，别在这上面反复折腾，换个方向找。
- 实验组反而更差：先检查是不是改出了技术问题，比如响应变慢、页面结构被破坏，再考虑回滚。
几个常见的坑
- 把抓取量当成唯一指标，抓取多了就以为赢了。
- 样本太小、时间太短，把随机波动当成结论。
- 同时改多个变量，最后无法归因。
- 实验组和对照组不在同一时间窗口，被外部变化干扰。
- 看到数据不好就立刻全量回滚，其实再观察几天才能确认。
对照测试本身不复杂，难的是忍住“看到数字涨了就赶紧扩量”的冲动。把基线立住、变量控制住、时间拉够，结论自然会浮出来。