抓取次数不是想抓多少就有多少
搜索引擎的抓取资源是共享的，同一个站点能分到的抓取频次，通常受几件事影响：站点整体响应速度、页面更新频率、历史抓取质量（返回码是否稳定）、页面数量与结构复杂度。页面从一个变成一万个，抓取频次并不会按同样倍数增长。于是就会出现一种常见情况：首页、栏目页每天被访问好几轮，而深层商品页或文章页长期停在“已发现，尚未抓取”。
把这件事理解成“每天有一笔固定的抓取预算”会好操作一些。预算有限，谁被优先抓，取决于链接权重、更新信号和地址是否干净。
配额常被这几类地址占走
- 参数与筛选组合。颜色、尺寸、排序、价格区间、翻页参数互相组合，能生成成百上千个地址，内容却高度相似。蜘蛛很容易在这些地址之间绕圈。
- 低价值列表页。标签页、归档页、站内搜索结果页、日历页，数量往往远超真正的内容页。它们本身有内链，容易被反复抓取。
- 已经失效但仍在被请求的地址。旧链接、测试目录、已删除的产品页。如果没有返回明确的 404 或 410，蜘蛛可能反复回来确认。
- 同一内容的多个地址。大小写、结尾斜杠、带 www 与不带、跟踪参数，都会让同一页被当成多个页面，重复消耗抓取。
- 外部资源与跳转。页面里挂载过多第三方脚本、图片和跳转链接，也会让抓取在非核心资源上停留。
怎么确认是配额被摊薄，而不是页面本身有问题
- 拉一段服务器日志，按蜘蛛访问的 URL 分组，看访问量集中在哪些目录。如果大部分请求都落在参数页和列表页，深层内容页一天只被碰一次，配额分配就是主因。
- 看重要页面的抓取间隔。正常更新的内容页，抓取间隔应逐步缩短；如果几周都没变化，说明它排在队尾。
- 对比返回码分布。大量 404、301 链、5xx 会拖慢整体抓取效率，也可能让蜘蛛降低来访频率。
- 检查重复地址比例。同一主版本被多个地址指向时，先把 URL 收口，再谈配额。
腾出配额可以按这个顺序调整
- 先收口重复地址。统一大小写、结尾斜杠和域名版本，让同一内容只保留一个地址。
- 限制参数组合被抓。对筛选、排序类参数做统一处理，只保留必要的入口，其余不主动暴露链接。
- 把该消失的地址明确标出来。彻底删除的页面返回 410，临时下架的页面返回 404 或保留并说明，避免长期挂在那里反复被请求。
- 精简站点地图。sitemap 只放希望被索引的内容页，不要把标签、筛选、分页全部塞进去。
- 收紧列表页的抓取入口。标签页和归档页可以留给用户浏览，但不一定都要放进主导航和内链。
- 让重要页面有更新信号。内容确实更新时同步调整 lastmod 或页面上的时间标识，比反复提交更有效。
配额只是解释之一
抓取频次低，也可能因为页面本身价值不高、内链太浅，或者服务器响应太慢。调整配额能减少浪费，但不等于把页面“推进”索引。真正决定能否被收录的，还是这个页面是否值得占用一个索引位置。
观察顺序建议：先看日志里谁在消耗抓取，再看重复地址是否收干净，最后才考虑内容层面的取舍。