排查收錄問题时，大家习惯先看站長平台的索引資料，但索引是结果，抓取才是過程。当索引數字長期不動、新頁面迟迟没有反應时，服務器日誌往往比後台报表更早给出线索。這篇文章讲的是怎么讀日誌，以及從日誌里能得到哪些和收錄相關的判断。
為什么要先看日誌
搜尋蜘蛛来過没有、来過多少次、停在哪個狀態碼、有没有繼續往里爬，這些都會落在訪問日誌里。後台的抓取統計通常有延迟，也做了聚合，而日誌是逐條记錄，能看到具体 URL 和先後顺序。两者结合看，才能分清是“没被抓”還是“抓了没收”。
第一步：確認身份，別把普通流量当蜘蛛
UA 可以伪造，所以不能只看 User-Agent 字符串。
- 用反向 DNS 或官方公布的 IP 段做校驗，確認确實是目标搜尋引擎的蜘蛛。
- 区分不同产品线，比如移動端蜘蛛、图片蜘蛛、桌面蜘蛛，它們的抓取行為並不完全一样。
- 把第三方工具、监控探针、合作方抓取排除掉，否則抓取量會被高估。
如果日誌里出現大量自称蜘蛛但 IP 對不上的請求，先按普通爬虫處理，不要據此判断收錄。
第二步：看频次和分布，而不是總量
只看一天的抓取總數意义有限，更有用的是分布：
- 目錄维度：抓取是集中在首頁和几個热门栏目，還是能覆盖到深层目錄？長期只抓少數几個目錄，說明内鏈入口或层級存在問题。
- 時間维度：抓取是均匀分布，還是集中在某几天？突然的峰值，可能對應你做了某次改版或大量提交。
- 新舊比例：新 URL 的抓取占比有多少？如果全是老頁面反复抓，新内容就排不上队。
第三步：狀態碼能說明很多事
按狀態碼分组統計一天的日誌，通常就能看出問题：
- 大量 200 但集中在參數頁、篩選頁，說明抓取被低價值 URL 消耗掉了。
- 比例偏高的 301，可能是站内跳轉鏈太長，或者 URL 規范還没收敛。
- 404 持續出現且来源是内鏈，說明站内還有失效連結没清理。
- 5xx 或 403 說明服務器扛不住，或者做了誤拦截，這類問题會直接影响抓取频次。
- 被 robots.txt 挡下的請求也會被记錄，可以借此確認屏蔽規則是否符合预期。
抓取频次下降不一定是被降權，也可能只是服務器响應變慢，或者站内多了大量低质量 URL，让蜘蛛把額度花在了別處。
第四步：看抓取落点，是進了還是停在门口
如果蜘蛛的一次會话里只抓了列表頁就离開，說明它没找到值得繼續跟進的目标；如果抓了大量詳情頁却很少回头，可能是内容重复度偏高，蜘蛛判断不值得重复抓取。可以挑几個已知的新頁面，在日誌里搜一下：有没有被訪問過、訪問了几次、返回什么狀態。這是最直接的驗證方式。
第五步：把日誌和索引資料放在一起看
常见的四種组合：
- 抓了、也進了索引：正常。
- 抓了、没進索引：多半是頁面质量、重复度或内容太薄。
- 没抓、却在索引里：属于歷史遗留或外鏈带進去的 URL，需要判断是否值得保留。
- 没抓、也没進索引：問题出在發現环节，回到内鏈、sitemap 和入口頁检查。
操作上的几点提醒
- 日誌量大的站点先做采样，不必全量分析，按天或按目錄抽一部分就够。
- 分析周期至少拉長到一周以上，單日資料波動大，容易誤判。
- 調整内鏈或屏蔽規則後，保留調整前後的日誌做對照，否則很难判断是否真的有變化。
- 把结论落到具体 URL 组上，不要只停在“抓取量下降了”這種描述。
日誌分析不能保證收錄，也不會有立竿见影的效果，但它能把問题定位到具体环节：是没被發現、没被抓好，還是抓了但没有通過质量判断。方向對了，後面的動作才有意义。