做蜘蛛池运营，日誌和後台資料每天都在看，但很多人把不同来源的數字混在一起比較：用服務器日誌里的抓取次數去解释平台顯示出的索引量，或者拿入口頁數量乘以某個系數去估算收錄。數字對不上就開始怀疑程序、怀疑蜘蛛，其實多數时候是統計口径的問题。
三類數字说的不是同一件事
- 抓取量：服務器日誌里蜘蛛請求的次數。它包含重复抓取、抓取失敗、抓取了却没有产生任何作用的頁面。它是“来過多少次”的记錄。
- 發現量：蜘蛛第一次看到某個 URL 的次數。它可能来自 sitemap、站内連結、外鏈或主動提交，但發現不等于抓取，更不等于收錄。
- 索引量：搜尋引擎侧已经建库、可以被检索到的頁面數量。它由對方决定，你只能間接影响。
這三者按時間顺序發生，但衰减很大。一百次抓取可能只對應几十個發現，几十個發現可能只有個位數進入索引。把整條鏈路压缩成一個數字，必然失真。
口径不统一带来的典型誤判
- 日誌里蜘蛛請求涨了，就認為收錄要涨。實际可能只是蜘蛛在反复抓取同一批已经失效的入口頁。
- 索引量掉了，马上去改入口頁内容。實际可能是對方調整了建库策略，與你的改動無關。
- 把不同統計周期的資料放在一起比。日誌按自然日切，平台报表按周更新，直接相减没有意义。
先確認數字的邊界，再讨论涨跌，否則後面的優化動作全是猜。
给自建蜘蛛池定一套可對比的口径
- 固定統計周期。日誌、提交记錄、索引核對都按同一個時間窗口取數，比如统一以自然日零点為界。
- 抓取量按狀態碼分层。200、301、404、5xx 分開統計，只看總量會掩盖問题。
- 区分蜘蛛與普通訪問。用 UA、IP 段和反向解析交叉確認，別把爬虫工具或监控探针算進蜘蛛抓取。
- 發現量單獨记錄来源。sitemap、站内連結、外鏈、主動提交各算一條通道，方便判断哪條路更有效。
- 索引量只做趋势观察。按周记錄一次即可，不必每天盯着波動做决策。
记錄方式上的几個建议
最好把三類資料放在同一張表里，字段包括日期、入口頁分组、抓取次數、成功抓取、發現數、索引數。入口頁按批次或按域名分组，而不是全部混在一起，否則某一批頁面出問题时，整体曲线看不出来。
另外，给每個入口頁保留一個稳定的标识。URL 變更时用 301 指向新地址，舊地址的統計不要立刻刪除，保留一到两個观察周期，才能看出替換是否平滑。
指标的意义在于定位問题，不在于凑出一個好看的總數。当數字對不上时，先問一句：這两個數字分別是谁、在什么時間、用什么規則統計出来的。