蜘蛛池跑起来之後，入口頁有没有被持續抓取，哪些頁面只是被碰過一次就再没動静，後台面板给的資料往往比較粗。想判断一批入口頁该留還是该換，最直接的办法是回到訪問日誌。日誌不會替你下结论，但它能给出比“今天来了多少蜘蛛”更具体的事實。
先確認日誌里有哪些可用字段
大多數 Web 服務器或 Nginx 的訪問日誌至少包含：請求時間、客戶端 IP、User-Agent、請求 URL、HTTP 狀態碼、响應体大小、响應耗时和 Referer。如果日誌格式被改過，先確認這些字段還在。没有响應耗时和狀態碼的日誌，分析入口頁质量會吃力很多。
需要留意日誌轮轉。如果每天切割一次，至少保留 7 到 14 天；按小时切割的，保留几天也可以，但要保證能拼出连續時間线。日誌被覆盖太快，抓取频次的判断會失真。
先做蜘蛛识別，再做频次統計
日誌里會出現大量非搜尋蜘蛛的請求，包括监控、掃描、采集器和普通浏览器。直接按 User-Agent 過滤只能算初筛，還要结合 IP 反查和行為特征。比如同一個 IP 在短時間内請求大量不相關 URL，或者請求顺序明顯不符合正常抓取路径，就不能当成有效蜘蛛来統計。
這一步不必做得太复杂：先用 UA 關鍵詞筛出候選，再對候選 IP 做反向解析或 whois 归属查询，最後看它的請求間隔和 URL 分布。筛完之後的日誌，才是判断入口頁價值的底料。
抓取频次看三個维度
- 首次抓取到再次抓取的時間間隔。如果入口頁被首次抓取後，隔几天又有第二次、第三次，說明它進入了正常抓取队列；如果只有一次，後面長期没有回訪，就要警惕。
- 單位時間内的抓取次數。按周統計每個入口頁被有效蜘蛛請求的次數。高频不一定代表质量好，但長期為零一定值得检查。
- 抓取是否集中在少數頁面。如果蜘蛛只反复抓首頁或某個列表頁，其他入口頁几乎没有動静，可能是互鏈结构或 URL 發現渠道有問题，而不是頁面本身被判死。
統計时建议按入口頁维度聚合，而不是只看全站總數。全站抓取量上涨，可能只是某几個頁面被反复抓，並不代表整批入口頁都在工作。
响應狀態比抓取次數更早暴露問题
日誌里的狀態碼能直接反映入口頁對蜘蛛是否友好。持續返回 200 或 304 是正常狀態；大量 301/302 要看跳轉鏈路是否稳定；404 和软 404 會让蜘蛛降低回訪意愿；403、429 和 5xx 則可能直接中断抓取。
如果某個入口頁抓取次數不少，但狀態碼里夹杂大量 5xx 或超时，先別急着替換，優先排查服務器、CDN 和 WAF 規則。這類問题修好之後，抓取频次往往會恢复。相反，一個頁面狀態一直正常，却長期没有有效蜘蛛訪問，才更可能是 URL 發現或入口頁價值的問题。
用日誌做入口頁取舍的简單規則
- 近两周有持續抓取、狀態以 200/304 為主的入口頁，保留观察。
- 只有首次抓取、之後没有任何回訪的入口頁，先检查内鏈和提交渠道，再决定是否替換。
- 频繁出現 5xx、403、超时的入口頁，先修复，修复後繼續观察一到两周。
- 長期零抓取且狀態正常的入口頁，可以分批替換，不要一次性全下。
替換节奏要分批，给蜘蛛留出重新發現的時間。一次換掉大批入口頁，日誌會突然變得很难解讀，也不利于判断問题出在哪一步。
几個容易踩的坑
第一，只看單日日誌。蜘蛛抓取有波動，單日零抓取不代表頁面已经失效。第二，把面板統計当唯一依據。面板可能做過聚合或采样，日誌更接近原始請求。第三，忽略日誌里的噪声。掃描器和采集器會混進来，不筛掉它們，抓取频次會被虚高。第四，只看入口頁，不看目标頁。入口頁被频繁抓取，但目标頁没有承接，依然浪費抓取预算。
日誌分析的目标不是證明蜘蛛池“有效”，而是找出哪些入口頁在正常工作、哪些需要修、哪些可以換。把判断周期拉長到周級別，结论會比每天盯面板稳得多。