入口頁上线之後，很多人盯着日誌里的抓取次數，觉得數字涨了就是有效。但抓取次數只是過程量，它受爬虫预算、站点整体活跃度、时段波動的影响很大。同一批入口頁，這周被抓 300 次、下周被抓 120 次，未必是你做對了什么或做错了什么。
想判断一批入口頁到底有没有起作用，比較稳的办法是做一次简單的對照測試：留一组不動的作為基线，改一组作為實驗，然後在同一時間窗口里對比。
先立基线，再谈效果
没有基线，“涨了”和“跌了”都只是感觉。基线的做法很简單：選一批已经在跑、配置一致的入口頁，连續记錄 7 到 14 天的資料，這段時間不做任何改動。记錄每天的量、波動范围，以及有没有明顯的異常日，比如某個時間段整体抓取掉了一半。
有了波動范围之後，後面的變化才有參照。如果基线本身每天的波動就在上下 40% 之間，那你改完之後涨了 20%，基本說明不了什么。
分组和控制變量
一次只改一個變量
入口頁模板、主机资源、目标頁分配、跳轉方式、更新频率，這些都會影响结果。一次改三四個，就算資料變了，你也不知道是谁的功劳。建议第一轮只挑一個你最怀疑的点，比如“入口頁模板里正文区块的差异度”，其他全部保持和基线一致。
分组規模別太小
十几個頁面的样本，噪声很容易盖過真實的差异。如果资源允许，實驗组和對照组各自至少几十個入口頁，而且两组的域名、IP 分布尽量接近，避免出現“實驗组全在 A 段、對照组全在 B 段”這種结构差异。
该看哪些指标
單看一個指标容易被誤導，建议用一组能互相印證的量：
- 入口頁被抓比例：這段時間里有多少入口頁至少被訪問過一次，比總次數更能反映覆盖面。
- 入口頁到目标頁的跳轉次數：入口頁被爬，不等于爬虫顺着走了下一步。
- 目标頁被抓比例：這是最接近你真正目的的一個量。
- 目标頁的重复抓取：同一目标頁在一段時間内被訪問多次，通常說明它被当成了稳定来源。
- 抓取的時間分布：集中在少數几天還是分散在整段時間，能看出入口頁是“被顺路掃到”還是“被反复安排”。
這几個指标要一起看。只有入口頁抓取涨、目标頁纹丝不動，說明入口頁更像是在消耗抓取预算，而不是在引路。
時間窗口和噪声
爬虫的抓取配額本身就有起伏，节假日、站点大范围更新、同 IP 段其他站点的變動，都可能干扰结果。两個建议：
- 實驗组和對照组放在同一時間段跑，而不是“改之前 vs 改之後”。
- 观察期至少覆盖一個完整的抓取周期，通常两周起，別用两三天的資料下结论。
记錄方式：一張表就够
不需要复杂系統，一張表按天记錄就行：日期、组別、入口頁抓取數、有抓取的入口頁數、跳轉次數、目标頁抓取數，再加一列备注。坚持记两周，趋势比任何單項資料都清楚。
把“当天有没有別的人動了配置”也寫進备注。很多看起来矛盾的資料，最後都是因為某個环节被顺手改過。
结论怎么用
對照跑完，大致會落到三種情况：
- 實驗组明顯好于對照组：可以把這個改動推廣到其他批次，但一次扩量別太大，先扩一部分再看一周。
- 两组差不多：說明這個變量不是瓶颈，別在這上面反复折腾，換個方向找。
- 實驗组反而更差：先检查是不是改出了技術問题，比如响應變慢、頁面结构被破坏，再考虑回滚。
几個常见的坑
- 把抓取量当成唯一指标，抓取多了就以為赢了。
- 样本太小、時間太短，把随机波動当成结论。
- 同时改多個變量，最後無法归因。
- 實驗组和對照组不在同一時間窗口，被外部變化干扰。
- 看到資料不好就立刻全量回滚，其實再观察几天才能確認。
對照測試本身不复杂，难的是忍住“看到數字涨了就赶紧扩量”的冲動。把基线立住、變量控制住、時間拉够，结论自然會浮出来。