做蜘蛛池时，常见的两類資料是面板里的抓取統計和服務器上的訪問日誌。面板資料直观，但经過聚合與抽样；日誌原始，需要自己整理，却更接近事實。想確認蜘蛛到底抓了哪些 URL，日誌通常是唯一能逐條核對的来源。

日誌里值得看的字段

不同服務器和 CDN 的預設格式有差异，但下面這些字段最好都保留：

• 来源 IP：判断蜘蛛身份的第一依據；
• User-Agent：參考信息，可以伪造；
• 請求時間：用来观察抓取的時間分布；
• 請求方法與完整 URL：包括參數部分；
• 狀態碼：200、301、404、5xx 各占多少；
• 响應字节數：区分真實返回與空响應。

如果預設日誌里缺 UA 或响應時間，在 Nginx 的 log_format 里补上即可，改動很小，但後續排查會轻松不少。日誌保留周期建议不少于 30 天，否則很难看出趋势。

不要只看 UA，要配合 IP 段

UA 是最容易被伪造的字段，任何脚本都可以把自己寫成 Googlebot。相對靠谱的做法是：先按 UA 粗筛，再用搜尋引擎官方公布的 IP 段做二次核對，必要时通過反向 DNS 驗證域名後缀是否匹配。两步都過了，再把這些請求当作真實蜘蛛流量来統計。

把 UA 和 IP 段结合起来判断，是日誌分析里成本最低、收益最直接的一步。

從日誌里能發現的几類問题

抓取集中在少數 URL 上

如果一周的日誌里，某個入口頁被反复抓取，而其他入口頁几乎没有记錄，通常說明内鏈或 sitemap 的權重分配不均。這时優先检查入口頁之間的連結數量差异，而不是急着新增頁面。

反复抓到參數乱序的版本

同一路径带不同參數顺序、大小寫混用、末尾斜杠不一致，都會在日誌里表現為多個獨立 URL。這類重复抓取會占用本来就不多的抓取配額，需要在服務端做 301 归一。

狀態碼分布異常

把狀態碼按天聚合，如果 404、410 或 5xx 的比例突然上升，往往是内容被删、路径改動或後端不稳定。5xx 尤其需要注意，持續返回错誤會让蜘蛛降低對该目錄的抓取频率。

响應字节數偏小

字节數為 0 或只有几百，可能意味着返回了空頁面或纯跳轉。入口頁如果長期這样，蜘蛛拿不到有效内容，後續的抓取安排也會受影响。

把日誌與 sitemap 對照使用

一個很實用的检查方法：導出 sitemap 里的 URL 清單，與日誌中出現過的 URL 求交集。差集里那些長期没有抓取记錄的入口頁，就是需要重点排查的對象——是連結太少、层級太深，還是被 robots.txt 挡住了。

几個容易踩的誤区

• 只看抓取總次數，不看具体抓了哪些 URL；
• 把 UA 当成身份證明，不做 IP 核對；
• 日誌经過 CDN 或反向代理後来源 IP 變成节点 IP，需要看 X-Forwarded-For 之類的字段；
• 資料量太大就直接抽样，结果漏掉低频但重要的入口頁。

落地建议

如果不想每次都手工翻日誌，可以寫一個简單脚本按小时聚合：先按 IP 段筛出蜘蛛，再按狀態碼和 URL 分组統計，最後輸出一份“本周未被抓取的入口頁清單”。這份清單不用天天看，按内容更新节奏每周或每两周核對一次就够了。日誌分析不能保證收錄，但它能让你在問题积累成灾之前先發現它。