覆盖率比来访次数更值得看
很多运营者盯的是“今天蜘蛛来了几次”，但更该问的是：我挂上去的入口页，蜘蛛实际抓了多少个。假设池子里有 2000 个入口页，一个月的访问日志里只出现了 300 个真实蜘蛛命中的 URL，那覆盖率大概就是 15%。剩下的大部分不是被拒绝，而是压根没进入待抓队列。来访次数再多，如果集中在那 300 个页面上，整体的 URL 发现效率依然很低。
抓取覆盖率由什么影响
覆盖率通常不是单一因素决定的，而是几件事叠加的结果：
- 入口是否被引用：蜘蛛不会主动遍历你的全部域名，它依赖外链、sitemap、历史路径去找入口。没有外部引用的孤立入口页，被发现概率很低。
- 主机响应与抓取速率：同一 IP 下短时间接到大量请求，页面变慢或超时，蜘蛛会降低对该主机的抓取频率。
- 内容同质化：入口页之间高度雷同，蜘蛛抓到几个之后可能判断价值不高，减少后续抓取。
- robots 与页面状态：误封、返回 4xx/5xx、跳转到空页面，都会让这次抓取白费。
- URL 结构混乱：参数过多、层级过深，蜘蛛容易在中间层就停止深入。
怎么排查
比较实用的做法是：把“实际挂出的入口页清单”和“日志中真实被抓的 URL”做一次差集，然后看三件事——没被抓的页面集中在哪些域名、哪些目录层级、哪些上线批次。
如果某几台服务器上的入口几乎全部没被抓，问题多半在主机层，比如响应慢、IP 被限速；如果各个域名都有零星被抓，问题更可能出在入口本身的引用关系和内容差异上。
提升覆盖率的可行做法
- 给入口页安排至少一个稳定的外部引用，而不是只靠 sitemap 声明。
- 控制单台主机、单个 IP 下的入口页数量，避免短时间集中放出。
- 分批上线，观察每批的抓取反馈，再决定下一批的规模。
- 先修响应速度与错误率，把 5xx 和超时降到可接受范围。
- 入口页之间保持基本差异，不要只替换标题和数字。
- 保留可抓取的普通链接结构，别把导航全放在 JS 里。
几个常见误区
把 sitemap 当成“提交就一定被抓”的保证、认为入口页越多覆盖率越高、用跳转代替可抓取的链接，这几种做法都会让覆盖率长期停留在低位。尤其是最后一种，蜘蛛拿到的页面里没有可跟随的链接，爬取路径就断在这里。
覆盖率是一个过程指标，不是结果指标。它能说明蜘蛛愿不愿意进来，但不能说明页面会不会被收录。两件事别混在一起看。
把覆盖率纳入日常巡检，比单纯数蜘蛛访问次数更能反映池子的健康度。当它长期卡在低位时，优先修主机和引用关系，而不是继续往上加页面。