讨论抓取时很容易陷入一個誤区：凭感觉猜蜘蛛去了哪、卡在哪。實际上，多數問题在服務器訪問日誌里都留了痕迹——它從哪個地址進来、接着請求了什么、拿到的狀態碼是什么、等了多久。把這些字段按時間排好，一條抓取路径大致就能還原出来。
先分清哪些請求是蜘蛛
日誌量大的站点，第一步是過滤。UA 字符串可以做初步篩選，但不要只依赖它：UA 可以伪造，蜘蛛池發出的請求也會混在里面。更稳妥的做法是结合反向解析或官方 IP 段做校驗，把真實抓取與模拟抓取分開統計。否則後面得出的结论會被噪声带偏，看起来抓取很热闹，實际收錄毫無變化。
值得長期盯的几個字段
- 請求時間與間隔：同一目錄下连續請求的节奏，能看出抓取是在推進，還是每隔很久才回头一次。
- URL 與查询參數：带參數的地址占了多少比例，是否挤占了静態頁面的抓取机會。
- 狀態碼分布：200、301、404、5xx 的比例變化，比單條记錄更有參考意义。
- 响應時間：從服務器视角看它等了多久，是否已经接近超时的邊缘。
- referer 與 UA：判断這次請求是從内鏈、Sitemap 還是外部連結進来的。
還原一條抓取路径
- 按時間排序，找出同一 UA 的连續請求序列。
- 给每條請求标上狀態碼，把跳轉和错誤單獨拎出来。
- 看序列在哪一類 URL 上停下，停下前最後一個成功打開的頁面，往往就是這條路径的出口。
- 對照站内真實的連結结构，確認這條路径是设計好的，還是偶然走到的。
這样跑几轮之後，常见現象會自己浮出来：蜘蛛總是止步于某個列表頁的第二頁；大量請求都落在篩選參數上，真正的詳情頁反而很少被打開；某個频道的頁面几乎每天被抓，另一個频道几周不见一次。
几個典型的断点信号
- 404 集中在某個目錄下：多半是連結没跟着改版更新。
- 301 出現多跳：一條重定向鏈把抓取額度白白消耗掉。
- 5xx 在短時間集中出現：抓取节奏被打断，恢复後往往需要重新试探。
- 响應時間逐周爬升：没有明顯报错，但抓取變慢，單位時間能抓的頁面變少。
- 某類 URL 只被請求一次就再也不来：可能被判定為低價值，需要從内容或連結上重新證明它的位置。
日誌只能告诉你蜘蛛做過什么，不能告诉你它為什么這么做。所有结论最终都要落到可以改的地方：連結、狀態碼、响應速度。
把结论反馈到三個地方
- 内鏈：路径停下的那一层，补上指向下一层的明确連結，让下一跳不需要靠猜。
- Sitemap：只收錄真正希望被抓的地址，參數頁、重复頁、空壳頁不要一並塞進去。
- 服務器：把响應時間長期偏高的接口和頁面排到前面處理，稳定性本身就是抓取效率的一部分。
两個容易誤判的地方
一是把蜘蛛池的請求当成搜尋引擎蜘蛛。請求量涨得很快、收錄却不動，多半是這個原因，需要回到 IP 校驗上核對。二是只看当天日誌。抓取本身有周期性，至少拉一周甚至一個月的資料再看趋势，單日的波動說明不了太多問题。日誌给的只是證據，方向仍然要自己判断，任何工具都不能保證收錄结果。