很多站长遇到的情况是：日志里蜘蛛来得很勤，首页和列表页几乎天天被访问，但真正希望被收录的详情页却隔很久才更新一次。这时容易误判成“抓取出了问题”，其实更常见的原因是抓取配额被大量低价值页面消耗掉了。抓取配额（也有说法叫抓取预算）不是一个能精确查看的数字，而是对“搜索引擎愿意在你这站花多少抓取资源”的一个描述。下面按核对顺序梳理。
一、先分清两种“抓不到”
要先把两种状态分开：一类是入口问题——页面没有任何内链可达，或只存在于 sitemap 里，这类往往停在“已发现，尚未抓取”；另一类是配额问题——页面可抓也抓得到，但排不上队。
两者在日志里的表现不同：前者几乎看不到抓取记录，后者会有零星的抓取。分不清这一点，后面的动作很容易做错方向。
二、用日志按模板统计抓取分布
不要只看总抓取次数，这个数字没有多少指导意义。按目录或页面模板对日志做分组统计，每组看这几个指标：
- 抓取次数占比：哪些目录吃掉了大半抓取量；
- 有效抓取：返回 200 且内容为非空主版本的比例；
- 状态码分布：3xx、4xx、5xx 各自占多少；
- 抓取深度：翻到第几页之后还在被继续访问。
如果发现参数组合页、筛选页、翻页页占了抓取量的大头，而详情页很少被访问，那基本可以判断是配额分配问题，而不是“蜘蛛不来”。
三、常见的配额占用者
- 站内搜索结果页和排序参数组合，数量几乎无穷；
- 分页序列翻到很深处，后面的页面既少人看也少人点；
- 同一批内容被多个列表页重复输出，比如推荐位、热门位、相关位；
- 重定向链和已经失效的内链，每次抓取都消耗一次机会；
- 日历页、空标签页、批量生成的空列表；
- 图片、JS、CSS 等静态资源被反复抓取，这本身正常，但要注意是否异常频繁。
四、收敛与引导的做法
- 先做 URL 收敛：把参数页按用途分类，能合并的合并，只保留有独立价值的版本；
- 对确实不需要抓取的目录，可以用 robots.txt 屏蔽，但要注意被屏蔽的页面之后就无法再通过抓取传递其他信号；
- sitemap 只提交你希望被收录的页面，避免把全站 URL 一股脑塞进去；
- 把新内容入口放在站内被频繁访问的位置，用内链把抓取路径引过去；
- 修复死链和过长的跳转链，减少无意义的抓取消耗；
- 确认 lastmod 与实际更新时间一致，避免每次都触发同一批页面的重复抓取。
五、观察与验证
调整之后不要一两天就下结论。抓取分布的变化通常需要两到四周才能在日志里看出趋势。可以按周对比重点目录的抓取次数和状态码分布，看配额是否在往目标页面转移。同时留意索引报表，因为抓取量上升不必然等于收录量上升。
抓取配额调整的目标不是“让蜘蛛来得更多”，而是让它来得更值得：把有限的抓取次数用在会被收录、会被点击的页面上。任何工具和技巧都不能保证收录结果，只能减少无谓消耗。
最后提醒一点：抓取配额问题通常和站点结构、模板设计绑在一起，不是一次设置就能解决。把它做成周期性核对——每月看一次抓取分布和重点页面的抓取频率，比事后补救省力得多。