日志里每天只有几十次搜索蜘蛛访问，新发布的页面等上一两周才被抓一次，这种情况在页面数量多、更新频繁的站点上很常见。多数时候它和“被降权”无关，而是抓取额度在排队分配。
抓取额度是什么
搜索引擎不会一次性把站点所有 URL 都抓一遍，而是根据站点的历史表现，估算出一个大致可承受的抓取量，再按天分配。这个量不是固定的，会随着响应速度、内容更新节奏、抓取回报的变化而调整。
换句话说，蜘蛛的时间有限。它今天来你的站，就得决定先抓哪些 URL。你能做的，是让这个决定更容易落到你希望被收录的页面上。
影响分配的几个因素
- 服务器响应。大量 5xx、超时或响应缓慢，会让蜘蛛降低访问频率。
- 页面更新节奏。长期不更新的站点，蜘蛛来得会更少；突然大批量发布新页面，也可能一时消化不完。
- 站内链接结构。从首页、栏目页到目标页的点击路径越短，蜘蛛越容易找到并判断重要性。
- 低价值 URL 的数量。带排序、筛选、会话参数的链接，站内搜索结果页，无限滚动产生的组合，都会分流抓取。
- 历史抓取回报。如果蜘蛛抓到的多是空白页、重复页、404，它下次自然来得更少。
让额度花在关键页面上的做法
- 先清理无效抓取。在 robots.txt 中屏蔽明确无收录价值且会大量生成的参数组合，而不是一刀切地屏蔽整站参数。
- sitemap 只放希望被收录的规范 URL，lastmod 填真实修改时间，不要每次全量重刷。
- 把重要页面放进首页或栏目页的内链中，避免它只能从分页的第 8 页进入。
- 修掉 5xx 和超时，尤其关注抓取高峰时段的响应表现。
- 新页面分批上线，保持稳定更新节奏，比一次性放出几百个页面更容易被消化。
- 定期看日志，确认蜘蛛实际抓了哪些目录，而不是只看它一天来了多少次。
两个常见误区
一是把提交 sitemap 当成排队插队。sitemap 解决的是“告诉你这里有这些 URL”，并不保证优先抓取。
二是把抓取多当成好事。抓取次数上去了，如果抓的都是无收录价值的页面，反而挤占了额度。
抓取是前提，收录是结果。中间还隔着搜索引擎对页面质量的判断，抓得多不等于收得多。
自查清单
- 日志中蜘蛛抓取的 URL，有多少指向你希望收录的页面？
- 参数类、搜索类 URL 占比是否偏高？
- 重要页面从首页出发需要几次点击？
- 抓取期间的服务器错误率是多少？
- 新页面从发布到首次被抓，平均间隔多长？
抓取额度的调整是渐进的。把无效 URL 收一收，把内链理一理，把响应稳住，通常几周内就能在日志里看到变化。如果调整后抓取分布仍然集中在低价值页面上，再回头检查内链和 sitemap 是否给出了错误信号。