排查收錄問题时，多數人习惯先打開索引狀態报告，看有效、已排除、错誤各占多少。這份資料告诉你结果，却不告诉你過程。想知道頁面為什么没被收錄，抓取日誌往往更直接：它记錄蜘蛛什么时候来過、来過几次、抓了哪些地址、拿到什么狀態碼、用了多長時間。
日誌里先看哪几個字段
服務器訪問日誌的字段不少，排查收錄时重点盯後面几項：
- 時間：判断抓取频率，以及近期是否被降频。
- User-Agent：区分不同搜尋蜘蛛，也便于识別伪造請求。
- 請求的 URL：看它抓的是新頁面還是早已废弃的舊地址。
- 狀態碼：200、301、304、404、5xx 的含义差別很大。
- 响應時間與响應大小：返回 200 但体积異常小的頁面要單獨留意。
日誌量太大时，先按 User-Agent 過滤出蜘蛛請求，再按 URL 分组統計。多數日誌分析工具都支持這一步。
几類常见現象，對應不同环节
蜘蛛几乎不来
日誌里连續几天找不到蜘蛛记錄，問题多半在發現环节：新頁面没有内鏈指向，站点地图没有更新，外部也没有任何入口。這種情况下改正文意义不大，要先解决“蜘蛛怎么知道存在這個 URL”。
来了，但只抓首頁和几個列表頁
說明入口是通的，但抓取深度不够。常见原因是列表頁缺少指向詳情頁的稳定連結、詳情頁藏在多級篩選之後，或者分頁只靠按钮加载。此时重点检查連結路径，而不是反复提交地址。
反复抓取舊地址
如果日誌里频繁出現已改版或不存在的 URL，說明站点地图、内鏈或外部引用里還留着舊連結。每次抓取都要走一遍重定向鏈，既消耗抓取額度，也拖慢新頁面的發現。把源头連結改掉，比在服務器上叠加重定向更有效。
抓取时返回 5xx 或超时
狀態碼 500、502、503 以及响應時間明顯偏長的记錄，會让蜘蛛降低訪問频率。若這類记錄集中在某個時間段，先查服務器负载和資料库慢查询；若集中在某個栏目，可能是该栏目的模板或接口出了問题。
返回 200，但内容很空
日誌里有請求记錄、狀態碼也是 200，可响應体积只有几百字节，通常是渲染失敗、資料没取到或模板报错。蜘蛛抓到的是空壳，容易按软 404 處理，對收錄没有帮助。
抓得很勤，頁面却没變化
同一批 URL 每天被抓多次、返回 200 且内容一致，說明抓取額度被低價值頁面占用。可以检查缓存头設定、列表頁是否生成大量參數地址，把額度让给真正需要更新的頁面。
看趋势，不看單天
蜘蛛訪問量本身波動很大，某一天没有记錄不代表出問题。更有用的是按周對比：新頁面從發布到第一次被抓平均要几天，抓取總量是上升還是下降，5xx 记錄是否在增加。把這些指标固定下来，異常出現时更容易判断是哪一环發生了變化。
日誌和索引狀態要對着看
日誌回答“什么时候来過、抓到了什么”，索引狀態回答“最後有没有被收錄”。两者時間点對齐，范围就能缩小：
- 有抓取、没收錄：偏向内容质量、重复度或頁面價值問题。
- 没抓取、没收錄：偏向發現通道或抓取額度問题。
- 抓過、收錄後又消失：偏向内容變動或质量评估變化。
把两份資料放在同一張表里看，比單獨看任何一份都有效。
几個容易誤讀的地方
- 蜘蛛来過不等于會收錄，抓取只是前置步骤。
- 抓取次數多不一定代表重视，也可能只是地址重复或參數過多。
- User-Agent 可以伪造，重要站点最好通過反向解析確認来源。
- 日誌只反映服務端收到的請求，被 CDN 缓存挡下的請求可能不在记錄里。
抓取日誌是過程資料，索引狀態是结果資料。两邊對不上的地方，往往就是排查的入口。
日誌至少留存到覆盖一次内容更新的完整周期，再按上面几個角度定期對照，收錄問题就會從“猜”變成“查”。