很多站点排查抓取问题时，第一反应是看Sitemap提交了多少、收录了多少，却很少回头看访问日志。Sitemap只能说明你告诉搜索引擎“这里有页面”，蜘蛛实际走了哪些路径、多久来一次、哪些URL反复被访问，只有在访问日志里才看得见。本文讨论如何用日志复盘抓取频次，并据此调整入口优先级。
一、先区分日志里的请求类型
直接把所有带爬虫UA的请求都算成“蜘蛛抓取”，是常见的统计误差。日志里通常混着几类流量：
- 真实搜索蜘蛛：需要结合反向DNS解析或官方公布的IP段核对，UA字段可以被伪造，不能单独作为依据。
- 用户访问：浏览器UA、带完整Referer链路、有静态资源并发请求，特征相对明显。
- 站点监控与CDN回源：来源IP固定、频率规律、只请求少量URL。
- 第三方采集：高频、单IP、UA杂乱，属于需要单独处理的噪音。
先把这几类分开，后面的频次分析才有意义。
二、日志中值得重点看的字段
- 请求时间：用于计算单位时间抓取次数，也能看出蜘蛛集中在哪个时段来访。
- URL路径：判断抓取入口集中在首页、栏目页还是内容页。
- 状态码：观察200、301、404、5xx各自的比例，异常码偏高往往意味着入口本身有问题。
- Referer：部分蜘蛛会带上来源页，可反推它是从哪个内链或列表页发现的这个URL。
- 响应时间：明显偏慢的URL如果被高频抓取，会拖累整体抓取节奏，值得单独排查。
三、按入口价值排优先级
抓取资源是有限的，入口不是越多越好，而是越准越好。可以按下面的顺序梳理：
- 更新稳定、内容唯一的核心栏目页，放在最靠前的入口位置。
- 更新频繁的列表页与专题聚合页，承担新内容的发现职责。
- 有内链支撑的长尾内容页，依靠上下文链接被逐步发现。
- 标签、归档、筛选参数页等低差异页面，控制其被抓取的频次，避免占用过多额度。
四、三类常见现象与对应动作
现象一：新URL迟迟不被发现
多数情况下不是内容质量问题，而是这个URL只有Sitemap一条入口。可以先检查它是否出现在任何一个有抓取价值的页面内链中，如果没有，从相关栏目页或内容页补一条自然链接，通常比反复重提Sitemap更直接。
现象二：老页面反复被抓，新页面无人问津
多半是内链更新滞后。首页或栏目的推荐位仍指向旧内容，蜘蛛顺着链接走一圈，看到的还是那批地址。把长期占据入口位置的链接按更新情况轮换，让新内容有机会进入抓取路径。
现象三：抓取量不低，但有效页面很少
常见原因是大量低价值URL消耗了抓取次数：空结果页、无内容标签页、重复的排序参数页。这类地址不是必须删除，但应通过robots规则或站内链接控制，减少它们被当成入口的机会。
五、调整后的观察周期
入口调整不宜频繁进行。建议以周为单位观察：新URL从发布到首次被抓的时间是否缩短、核心页面的抓取频次是否稳定、5xx比例是否下降。单次改动的样本量太小，一两天的数据波动说明不了问题，反而容易让人做出错误判断。
日志反映的是抓取行为，抓取频繁不等于会被收录，更不等于有排名。把日志当成入口维护的参考依据，而不是效果指标。
六、几个容易忽略的细节
- 服务器时区与统计口径不一致，导致“蜘蛛几点来”的判断整体偏移。
- 只统计抓取总量，不看URL分布，掩盖了入口过度集中的问题。
- 忽略移动端与其他UA的抓取记录，看到的路径其实并不完整。
- 日志保留周期太短，无法对比调整前后的变化。
抓取入口的维护是一件长期且偏基础的工作。把日志读细一点，把入口收拾干净一点，URL发现效率往往会比反复提交Sitemap更稳定。