想弄清一個 URL 是怎么被蜘蛛發現的，最靠得住的材料不是後台的抓取統計，而是服務器訪問日誌。統計工具给你的是匯總數字，日誌给你的是每一次請求的原始记錄：谁来的、什么时候来的、請求了哪個地址、返回了什么。只要愿意按目錄和路径聚合一遍，URL 的發現路径基本能還原出来。
日誌里先確認哪些字段
- 請求時間：精确到秒，用来判断抓取节奏和並發情况
- 請求方法：蜘蛛绝大多數是 GET，HEAD 出現得多說明它在做前置校驗
- URL：包含查询參數，留意參數是否被大量不同的值撑開
- 狀態碼：200、301、404、5xx 對應後續完全不同的處理動作
- User-Agent：先粗筛出蜘蛛标识，再逐條看
- 来源 Referer：蜘蛛通常不带，別指望它直接告诉你連結從哪来
很多日誌格式里 Referer 是空的，這不代表資料没用。判断發現来源要靠時間分布和路径關系，而不是單看一列。
区分從 Sitemap 来，還是顺着内鏈爬来
Sitemap 里的 URL 往往成批被請求，時間上很密集，路径跨度大、层級跳跃，中間還夹杂着對站点地图文件本身的抓取记錄。顺着内鏈爬来的 URL 更像人走路的轨迹：先入口頁，再栏目頁，再詳情頁，同一批請求里能看到明顯的父子關系。把一段時間内的請求按時間排序，看它落在哪個簇里，比盯住單獨一條记錄靠谱得多。
還有一種情况：外部連結带来的訪問
被外部頁面引用的 URL 可能在任何時間單獨出現一次，之前没有同站的前序請求，之後也未必有後續。這類记錄不要急着当成脏資料，它說明外面有人给你带了入口，值得记下来。
按目錄做一次聚合
- 把日誌按第一层路径分组，統計每组被請求的 URL 數量和請求次數
- 算出每個目錄里被訪問過的 URL 占该目錄總 URL 的比例，這個比例就是發現覆盖率
- 横向對比各目錄的覆盖率，差距過大的地方通常對應連結深度不足或内鏈缺失
- 把長期零訪問的目錄單獨列出来，回头检查它有没有可到達的入口
几種值得留意的形態
- 只有首頁和 Sitemap 被反复抓，内頁几乎不動：說明内鏈路径可能没被走到，或者入口頁上的連結位置太靠後
- 同一批 URL 每天被抓很多次、每次狀態碼都一样：說明頁面内容或头部時間戳在频繁變動，吸引了蜘蛛反复回来
- 大量带不同參數的 URL 被逐個抓取：篩選、排序參數缺少约束，抓取額度被摊薄
- 某個目錄從某天開始整体消失：先查 robots 與服務器响應，再查该目錄上級連結是否断掉
把结论落回站内調整
日誌能告诉你事實，但不能替你决定改什么。比較稳妥的做法是把日誌结论和站内结构對照着看：覆盖率低的目錄，是不是离首頁层級太遠；被反复抓取的頁面，是不是真的需要那么高频的更新信号；只出現在 Sitemap、從没被内鏈走到的 URL，是不是應该补一個固定入口。
- 给重要但被冷落的目錄，补一條来自高抓取頁面的稳定連結
- 參數頁能收則收，避免同一内容生成大量入口
- Sitemap 保持干净，別把 404 和重定向地址混在里面
- 服務器稳定性優先解决，尤其是出現批量 5xx 的時間段，先確認那段時間的抓取是否整体归零
日誌是观察工具，不是结果保證。它让你看到蜘蛛走了哪些路、漏了哪些路，但能不能被抓、能不能被收錄，最终還是取决于頁面本身和整体结构是否值得抓。定期翻一次原始日誌，往往比盯着匯總數字更能發現真正的問题。