很多人看服務器日誌，第一反應是“蜘蛛来得少了”。但“来得少”背後至少有两種完全不同的原因：一種是蜘蛛没發現新的 URL，另一種是發現了但抓取配額被压缩，轮不到你的頁面。這两種情况的處理方式差得很遠，混在一起排查容易白忙。
先看两個不同的數字
日誌里至少要分開統計两個量：抓取次數（蜘蛛實际請求了你多少條 URL）和發現线索（你的站点地图、入口頁、内鏈里有多少條 URL 被蜘蛛看到過）。前者看請求行，後者更多要结合抓取诊断、索引狀態和日誌里的首次訪問時間。
- 抓取次數降、新 URL 首次被抓時間没變 → 多半是配額問题。
- 抓取次數降、新 URL 迟迟不出現 → 多半是發現环节断了。
偏向 URL 發現受阻的信号
- 站点地图提交後長期停在“已提交”，抓取记錄里几乎看不到對 sitemap 文件的回訪。
- 入口頁本身被抓，但頁面里的目标連結没有出現在日誌里，连一次尝试都没有。
- 整站被抓的 URL 集中在几個老頁面，新栏目、新目錄几乎為零。
- 入口頁返回的狀態碼異常，或者正文連結被脚本、跳轉、參數包了好几层。
偏向抓取配額被压缩的信号
- 蜘蛛仍然频繁訪問，但每次只抓几個頁面就走，抓取深度很浅。
- 同一批 URL 反复被抓，新 URL 排在後面迟迟轮不到。
- 响應時間明顯變長，或者时段性超时，蜘蛛抓几條就撤。
- 站点整体质量信号偏弱：低质頁面占比高、大量重复内容、站内連結混乱。
動手排查的顺序
- 先確認日誌可讀：区分 IP 归属、UA、狀態碼、响應時間，別把 CDN 回源日誌和真實蜘蛛請求混在一起。
- 拉一條時間线：把最近 30 天每天的抓取次數画出来，看是断崖式下降還是慢慢變少。
- 驗證發現通道：sitemap 是否可訪問、是否被 robots.txt 挡住、入口頁連結是否是蜘蛛能直接讀到的形式。
- 检查入口頁本身：狀態碼、canonical、robots meta、是否有大量 404 連結指向。
- 再看目标頁：如果目标頁大面积超时、返回 5xx 或需要登入，抓取量自然上不去。
- 對比同期站内變化：是否刚上了大批新頁面、是否改過 URL 结构、是否新增了拦截規則。
蜘蛛池里容易被忽略的干扰因素
如果入口頁是用蜘蛛池铺出去的，還需要額外確認几点：入口頁是否只堆連結、正文几乎没有内容；同一批入口頁是否被大量複製到多個域名，内容高度雷同；入口頁所在域名本身是否已经被處理過。這些都會让“發現”這一步打折，即使連結本身寫得很規范。
別把“蜘蛛不来”一律归因于池子不够或連結不够多。先確認是發現环节的問题，還是抓取环节的問题，再决定要不要增加入口頁。
什么时候该等，什么时候该改
如果日誌顯示蜘蛛已经稳定訪問、新 URL 也陆續有首次抓取记錄，只是速度慢，通常属于正常范围，繼續观察即可。如果连續两三周新 URL 一次都没被抓過，且站点地图回訪也很少，那就要回到發現和抓取的基础环节逐項核對，而不是繼續加量。
最後提醒一句：抓取频次本身有波動，單日資料說明不了什么。看趋势，看首次抓取時間，看被抓的 URL 是否覆盖到你關心的新頁面，比盯着某一小时少了多少次請求更有意义。