蜘蛛池跑起来之后，入口页有没有被持续抓取，哪些页面只是被碰过一次就再没动静，后台面板给的数据往往比较粗。想判断一批入口页该留还是该换，最直接的办法是回到访问日志。日志不会替你下结论，但它能给出比“今天来了多少蜘蛛”更具体的事实。
先确认日志里有哪些可用字段
大多数 Web 服务器或 Nginx 的访问日志至少包含：请求时间、客户端 IP、User-Agent、请求 URL、HTTP 状态码、响应体大小、响应耗时和 Referer。如果日志格式被改过，先确认这些字段还在。没有响应耗时和状态码的日志，分析入口页质量会吃力很多。
需要留意日志轮转。如果每天切割一次，至少保留 7 到 14 天；按小时切割的，保留几天也可以，但要保证能拼出连续时间线。日志被覆盖太快，抓取频次的判断会失真。
先做蜘蛛识别，再做频次统计
日志里会出现大量非搜索蜘蛛的请求，包括监控、扫描、采集器和普通浏览器。直接按 User-Agent 过滤只能算初筛，还要结合 IP 反查和行为特征。比如同一个 IP 在短时间内请求大量不相关 URL，或者请求顺序明显不符合正常抓取路径，就不能当成有效蜘蛛来统计。
这一步不必做得太复杂：先用 UA 关键词筛出候选，再对候选 IP 做反向解析或 whois 归属查询，最后看它的请求间隔和 URL 分布。筛完之后的日志，才是判断入口页价值的底料。
抓取频次看三个维度
- 首次抓取到再次抓取的时间间隔。如果入口页被首次抓取后，隔几天又有第二次、第三次，说明它进入了正常抓取队列；如果只有一次，后面长期没有回访，就要警惕。
- 单位时间内的抓取次数。按周统计每个入口页被有效蜘蛛请求的次数。高频不一定代表质量好，但长期为零一定值得检查。
- 抓取是否集中在少数页面。如果蜘蛛只反复抓首页或某个列表页，其他入口页几乎没有动静，可能是互链结构或 URL 发现渠道有问题，而不是页面本身被判死。
统计时建议按入口页维度聚合，而不是只看全站总数。全站抓取量上涨，可能只是某几个页面被反复抓，并不代表整批入口页都在工作。
响应状态比抓取次数更早暴露问题
日志里的状态码能直接反映入口页对蜘蛛是否友好。持续返回 200 或 304 是正常状态；大量 301/302 要看跳转链路是否稳定；404 和软 404 会让蜘蛛降低回访意愿；403、429 和 5xx 则可能直接中断抓取。
如果某个入口页抓取次数不少，但状态码里夹杂大量 5xx 或超时，先别急着替换，优先排查服务器、CDN 和 WAF 规则。这类问题修好之后，抓取频次往往会恢复。相反，一个页面状态一直正常，却长期没有有效蜘蛛访问，才更可能是 URL 发现或入口页价值的问题。
用日志做入口页取舍的简单规则
- 近两周有持续抓取、状态以 200/304 为主的入口页，保留观察。
- 只有首次抓取、之后没有任何回访的入口页，先检查内链和提交渠道，再决定是否替换。
- 频繁出现 5xx、403、超时的入口页，先修复，修复后继续观察一到两周。
- 长期零抓取且状态正常的入口页，可以分批替换，不要一次性全下。
替换节奏要分批，给蜘蛛留出重新发现的时间。一次换掉大批入口页，日志会突然变得很难解读，也不利于判断问题出在哪一步。
几个容易踩的坑
第一，只看单日日志。蜘蛛抓取有波动，单日零抓取不代表页面已经失效。第二，把面板统计当唯一依据。面板可能做过聚合或采样，日志更接近原始请求。第三，忽略日志里的噪声。扫描器和采集器会混进来，不筛掉它们，抓取频次会被虚高。第四，只看入口页，不看目标页。入口页被频繁抓取，但目标页没有承接，依然浪费抓取预算。
日志分析的目标不是证明蜘蛛池“有效”，而是找出哪些入口页在正常工作、哪些需要修、哪些可以换。把判断周期拉长到周级别，结论会比每天盯面板稳得多。