很多人判断收錄，习惯直接看索引數量或者 site 查询。真到排查問题时，索引报告给的是结果，日誌给的才是過程。蜘蛛来過没有、抓了哪些 URL、服務器返回了什么，這些只能從日誌里看到。把日誌和索引狀態放在一起看，才能判断問题卡在發現、抓取還是收錄。
抓取和收錄不是同一件事
日誌里出現某個 URL，只能說明蜘蛛訪問過。它可能只是抓走内容，後續因為质量、重复、規范化等原因没有放入索引；也可能当天抓了，過几天才進入索引。反過来，日誌里很少出現的 URL 也未必没收錄，它可能早已被索引，只是重新抓取的频率低。所以日誌适合回答“蜘蛛看到了什么”，不适合單獨用来回答“頁面有没有被收錄”。
先盯住日誌里的三個字段
狀態碼分布
把日誌按狀態碼分组，重点看 200、301、302、404、410、5xx 的比例。大量 301 說明站内還有舊連結指向老地址；大量 404 說明蜘蛛在反复訪問已经不存在的頁面；5xx 或超时记錄集中出現，說明抓取被服務器狀態挡住了。這些都會影响蜘蛛繼續發現新 URL 的意愿。
被抓的 URL 類型
再看蜘蛛具体抓了哪些頁面。如果翻来覆去都是列表頁、篩選頁、參數頁，而真正想被收錄的内容頁很少出現，那說明站内入口和連結结构把抓取引到了低價值頁面上。這时要回到内鏈和 URL 设計上調整，而不是只盯着内容頁本身。
抓取频次的變化
不用追求每天的抓取量都涨。更有參考價值的是趋势：新内容上线後，蜘蛛是否在合理時間内来過；改版或調整連結後，被抓的 URL 類型有没有跟着變化。單日波動通常說明不了什么，连續几周的方向才值得跟進。
几種常见的誤讀
- 日誌里全是 200，就以為收錄没問题。200 只代表抓取成功，索引是否收錄是另一回事。
- 看到蜘蛛来了就等着收錄。抓取只是前置動作，頁面质量、重复程度、規范化信号都會影响後續處理。
- 日誌里没看到某個 URL，就断定没被發現。蜘蛛可能通過其他入口訪問，也可能只是在別的時間段来。
- 只看總抓取量，不看抓了什么。量涨了但抓的都是垃圾 URL，對收錄没有帮助。
一個可行的對照顺序
- 先從日誌里筛出搜尋蜘蛛的记錄，按狀態碼分组。
- 看被抓 URL 的分布，確認重点内容頁是否在抓取范围内。
- 把重点 URL 拿去查索引狀態，和日誌记錄對照。
- 如果抓取正常但未收錄，回到頁面质量、重复内容和規范化設定上排查。
- 如果连抓取都很少，優先补站内入口、清理失效連結，再谈提交和收錄。
日誌是抓取侧的记錄，索引狀態是收錄侧的结果。两者對不上时，先確認差异出在哪一步，再决定改什么。