為什么入口頁的日誌值得單獨看
蜘蛛池跑起来之後，大多數人第一反應是去看收錄量。但收錄是個滞後指标，受很多因素影响，出了問题往往分不清是池子的原因還是目标頁的原因。相比之下，服務器上的訪問日誌是實时的、具体的：谁来了、几点来的、請求了哪個 URL、拿到什么狀態碼，都能看到。把日誌当成体检报告，比盯着收錄量猜原因要靠谱得多。
先確認日誌里有哪些字段
不同服務器软件、不同面板輸出的格式不一样，先確認字段是否齐全，再看資料。
- 時間戳：注意服務器时区，國内机器多為 UTC+8，海外机器常见 UTC，时区没對齐會把抓取时段判断错。
- 来源 IP：用来判断網段集中度。
- User-Agent：识別蜘蛛的第一道线索，但只能作為线索。
- 請求 URL：区分是入口頁、跳轉层還是目标頁。
- 狀態碼：200、301、302、404、5xx 各占多少。
- 响應大小與响應時間：太大或太慢的頁面，蜘蛛往往来得少。
- Referer：能看到蜘蛛是從哪個頁面跟過来的。
如果站点前面挂了 CDN，源站日誌里可能只有回源记錄，蜘蛛的訪問被打散甚至被合並。這種情况下要額外導出 CDN 的訪問日誌，否則结论會偏。
怎么把蜘蛛訪問筛出来
第一层：UA 關鍵詞
按 Googlebot、Bingbot、Baiduspider 等關鍵詞過滤，是最快的做法，能拿到一個粗略的量級。
第二层：驗證真伪
UA 可以伪造，所以只能作為初筛。常见做法是反查 IP 归属，或者用搜尋引擎官方提供的驗證方式核對。如果一批“蜘蛛”来自同一台廉價 VPS、請求路径高度一致、訪問节奏机械，基本可以判定是伪蜘蛛或普通采集器。
第三层：看行為
真蜘蛛通常有相對固定的抓取节奏，會跟随跳轉、會取 robots.txt、會按連結逐步扩展。如果某個 UA 只盯着一個 URL 反复刷，多半不是正常抓取。
日誌里几個值得長期盯的观察点
- 入口頁有没有被抓。如果入口頁连續多天零訪問，先查 robots、狀態碼、解析和防火墙，而不是急着加内容。
- 跳轉有没有被跟随。入口頁有訪問，但跳轉後的目标頁在日誌里完全没出現，說明蜘蛛没有跟下去，就要回头看跳轉方式的兼容性。
- 狀態碼分布。404 和 5xx 的占比是硬指标，任何一個偏高都說明池子在漏。
- 抓取間隔與时段。抓取集中在某個时段，可能是服務器响應時間或带宽在其余时段拖了後腿。
- 抓取路径的广度。如果日誌里翻来覆去只有首頁和几個固定頁，說明内鏈没有把蜘蛛带到更深的层級。
容易看错的地方
- 把總量当质量。蜘蛛来訪次數涨了，但請求的都是無關路径，意义不大。
- 只統計一次就下结论。抓取本身有波動，建议按周看趋势，而不是看某一天的曲线。
- 忽略日誌采样。有些环境預設只记錄部分請求，據此算出的比例會失真。
- 把非搜尋引擎的爬虫一起算進去，造成“抓取很活跃”的错觉。
- 只看 UA 不看 IP，把伪造流量当成真實抓取。
一套简單的落地做法
不需要复杂系統，按下面几步就能跑起来：
- 日誌至少保留 30 天，有條件保留 90 天，方便做同期對比。
- 每天跑一次脚本，聚合出蜘蛛訪問量、入口頁覆盖數、狀態碼分布、目标頁被訪問數几個指标。
- 把入口頁按批次分组，對比不同批次的抓取情况，能看出哪一批表現更差。
- 對 5xx 和连續零訪問設定告警，發現異常先排查技術問题，再考虑内容层面的調整。
日誌反映的是“蜘蛛来過、請求過什么”，它不等于目标頁會被收錄，也不代表排名會有變化。日誌的價值在于帮你更快定位問题，而不是替代對内容和站点整体质量的判断。