同一批上线的页面，过两周再去看，有的已经进了索引，有的还停在“已发现”，甚至日志里从头到尾没出现过。这种情况不一定和内容好坏直接相关，很多时候是抓取预算的分配结果——蜘蛛在一段时间内愿意发出的请求数有限，谁先被爬、谁被反复爬，取决于站内结构给了哪些信号。
抓取预算不等于固定配额，但它确实存在
抓取预算可以粗略理解为：在一定时间内，蜘蛛愿意在你的站点上发出的请求数量。它受两方面影响，一是站点被信任的抓取能力，二是站点的响应速度与健康状况。这里需要说明的是，抓取量高低并不直接等于收录结果：抓了不一定收，但没抓基本不会收。
预算被谁悄悄消耗掉了
多数站点的浪费不是因为页面太多，而是因为无价值的 URL 太多：
- 参数与筛选组合：排序、分页、筛选叠加后产生的成百上千个变体，内容几乎相同。
- 重复列表与空结果页：筛选后无结果，页面照样生成，返回 200 却没有实质正文。
- 软 404：内容已经删除，却仍然返回正常状态码，蜘蛛会反复回来确认。
- 重定向链：A 跳到 B、B 再跳到 C，每一跳都要单独消耗一次请求。
- 大体积资源与慢响应：单页加载慢，蜘蛛并发上不去，单位时间内能爬的数量自然就少。
把这些加起来，重点页面能分到的抓取次数就被挤掉了。可以先看日志里被抓得最多的前 100 个 URL，数一数其中有几个是你真正希望被收录的。
按目录做一次对照自查
- 导出近 30 天日志，按目录聚合请求数与唯一 URL 数。
- 和 sitemap 里的 URL 清单对照，找出抓得少但页面质量高的目录。
- 在索引状态报告里看分布，区分“已抓取未索引”和“已发现未抓取”各占多少。
- 挑一个收录好的目录和一个收录差的目录，比较模板层数、内链数量和响应时间。
- 确认表现差的那一批页面，是否真的能从首页通过可点击链接抵达。
如果某一批页面“已发现未抓取”占比很高，问题多半在抓取侧；如果“已抓取未索引”占比高，重点就要转向页面本身的质量与重复度。方向不一样，改动点也完全不一样。
把预算导向重点页面的做法
先减少浪费
- 对没有检索价值的筛选参数组合做收敛，必要时屏蔽抓取路径。
- 空结果页返回 404，或者至少加上 noindex，避免长期占用抓取。
- 清理多跳重定向，内链直接指向最终地址。
- 下架内容用 410 或 404 明确表态，不要留着返回 200 的空壳。
再给重点页面腾路
- 从首页或栏目页用普通链接指向重点内容，减少点击深度。
- sitemap 只保留希望被收录的规范 URL，规模控制在能维护的范围。
- 列表页控制单页条目数量，用分页承接，而不是一次性加载全部。
- 精简模板层重复模块，让正文在 HTML 里更早出现。
几个容易搞混的点
抓取频率提高，不代表收录比例一定上升，内容重复、信息量不足的页面依然可能被排除。反过来，页面本身质量不错，如果站内没有任何路径指向它，也很难被发现。蜘蛛池这类工具能改善的主要是 URL 被发现的速度，是否进入索引仍然取决于页面本身和站点整体健康状况。
先判断问题出在“没被抓”还是“抓了没收”，两者的处理方向完全不同，混在一起改往往白费力气。
实际运营中，建议每隔一段时间做一次抓取与索引的对照，把目录级别的差异记录下来，而不是只盯着整站的总收录数。总数波动大、受很多因素干扰，目录之间的横向对比反而更容易看出结构问题在哪里。