服務器日誌是蜘蛛抓取行為最直接的记錄。它不像後台报表那样经過匯總，却保留了每一次請求的時間、URL、狀態碼和来源。很多關于 URL 發現和抓取路径的問题，都能在這里找到线索。
一張日誌表里值得看的几列
不同服務器的日誌格式略有差异，但核心字段差不多：
- 時間：判断抓取集中在哪個时段，是否與站点自身流量高峰重叠。
- 請求方法與 URL：包含完整路径和參數，能看出蜘蛛在抓哪些形態的地址。
- 狀態碼：200、301、304、404、429、503 各自說明不同問题。
- 响應字节數與耗时：帮助判断頁面大小和服務器處理速度。
- User-Agent：用于初步区分蜘蛛種類，但只能作為參考。
- Referer：蜘蛛是從哪個頁面跳到這個 URL 的，這是抓取路径最直接的證據。
Referer 能還原蜘蛛的走法
很多人看日誌只看被訪問的 URL，忽略了 Referer。對蜘蛛請求来说，Referer 往往就是它上一個抓取的頁面。如果某個詳情頁的 Referer 長期只有首頁，說明中間列表頁没有起到承接作用；如果某個栏目頁從未出現在任何詳情頁的 Referer 里，那它可能只是被單獨抓取，没有被当作入口来用。
把一天内同一蜘蛛的請求按時間排序，再补上 Referer，就能大致画出一條抓取路径：入口 → 列表 → 詳情。路径在哪一层断掉，通常就是内鏈或分頁设計的問题。Referer 也可能為空，這表示蜘蛛是從 Sitemap、外部連結或歷史记錄中直接拿到的 URL，需要结合其他信息再判断。
狀態碼分布說明什么
- 200：正常抓取。看同一 URL 一天被取几次，過高的重复抓取往往意味着更新信号不够稳定。
- 301/302：跳轉本身不致命，但如果跳轉鏈長，或大量入口都指向跳轉地址，抓取成本會被白白消耗。
- 304：說明内容没變，蜘蛛通過條件請求省了带宽，属于健康狀態。
- 404/410：少量正常，成片出現通常說明内鏈或 Sitemap 里存在失效地址，需要清理。
- 429/503：站点在主動限速或已经過载，蜘蛛會降低频率，恢复需要時間。
- 5xx：服務器错誤。如果集中在某個时段，要检查那段時間的负载、資料库或缓存。
用日誌检查抓取深度
把 URL 按目錄层級归類，統計每一层被抓取的 URL 數量，可以判断蜘蛛往下走了多遠。常见的現象是首頁和一級栏目抓取很多，二級列表骤减，詳情頁几乎没有。這通常不是蜘蛛不愿意走，而是中間层的連結不够明顯、分頁太浅，或者需要交互才能展開。
這时可以對照 Sitemap 里提交的 URL 數量。如果 Sitemap 提交了大量詳情頁，而日誌里這些 URL 很少被訪問，說明清單被讀到了，但内鏈没有把它們變成常規路径。Sitemap 负责让蜘蛛知道有哪些 URL，内鏈负责让蜘蛛反复走到這些 URL，两條通道都顺，發現和回訪才稳定。
几個常见信号與對應動作
- 列表頁只有第一頁被抓：检查分頁連結是否為可点击的 a 标簽，是否被懒加载遮挡。
- 带參數的 URL 大量被抓：梳理篩選、排序參數的组合，考虑用 robots.txt 或規范化收敛。
- 詳情頁被抓一次後不再回訪：看頁面是否有稳定的更新信号，以及是否在合适的栏目里被連結。
- 某個時間段 5xx 增多：對照服務器监控，確認是否因抓取並發與自身流量叠加導致。
把日誌變成每周的固定動作
不需要逐條讀完整個日誌。可以每周抽一天，按蜘蛛篩選出請求，做三件事：看新增 URL 主要從哪個 Referer 来、看重点栏目的抓取次數有没有明顯變化、看 5xx 與超时占比是否異常。坚持几周，就能区分哪些是偶發波動，哪些是结构問题。
日誌不會直接告诉你怎么改，但它會告诉你蜘蛛實际走了哪條路、在哪里停下。先看路径，再動结构。