抓取预算到底是什么
抓取预算（crawl budget）常被说成“蜘蛛每天给你多少额度”，但更准确的说法是两件事的乘积：蜘蛛愿意在你这个站点上投入的抓取频次，乘以你的站点值不值得它把时间花在这些 URL 上。前者受站点整体质量、历史响应速度、服务器稳定性影响；后者基本由你自己决定——站内有多少 URL、哪些是重复的、哪些点进去没有内容。
所以当有人抱怨“蜘蛛来了但没抓几条”时，问题往往不在蜘蛛，而在于它把有限的次数耗在了不值得的地址上。
哪些地方在悄悄吃掉预算
- 参数组合爆炸：筛选、排序、分页参数自由拼接，一个列表页能衍生出成百上千个 URL。
- 软 404 与空结果页：返回 200 但正文为空，蜘蛛会一次次回来确认。
- 重定向链：A→B→C 的跳转，每一次都要单独消耗一次请求。
- 无限滚动或日历控件：前台体验不错，后台却暴露大量无价值链接。
- 同质化入口页：模板几乎一样、内容差异极小的页面被大量提交。
这些问题的共同点是：它们不报错，也不影响访问，只是在后台持续消耗蜘蛛的时间。
入口页与详情页怎么分工
在蜘蛛池的场景里，入口页与详情页承担的任务并不相同。入口页更像路标，负责把蜘蛛带到真正有内容的地址；详情页才是承接抓取的主体。如果入口页数量远多于详情页，而每一张入口页都要被抓一遍，预算很容易在“找路”这件事上耗尽。
一个实用的判断方式是：这张页面被抓之后，蜘蛛下一步能去哪里。如果答案不明确，它的价值就有限，可以考虑收敛、合并，或者用 robots 与 nofollow 控制暴露面。
用日志核对预算流向
抓取预算是看不见的，但日志能还原大部分事实。按目录或按模板聚合访问记录，重点看几件事：
- 被抓次数最多的 URL 是哪些，是否属于你希望被优先抓取的类型。
- 是否存在单个 URL 被反复抓取、而大量新 URL 从未被抓的情况。
- 状态码分布里，3xx 与软 404 的占比是否偏高。
- 同一模板下的页面，抓取量是否高度集中在少数几个样本上。
如果发现抓取量集中在低价值页面上，先清理入口，再谈引导，顺序反了效果会很差。
几条可以落地的做法
- 把 sitemap 当作“推荐清单”而不是“库存清单”，只放希望被抓的规范 URL。
- 内链尽量指向规范地址，避免同一内容存在多个可到达路径。
- 参数页、搜索结果页、排序页做统一收口，别让它们各自可索引。
- 新内容上线后给它一个明确入口，不要指望蜘蛛自己发现。
- 定期复查服务器响应时间，抓取频次与响应速度长期相关。
抓取预算不是一次配置就能定下来的东西。它更像一个长期结果：你留给蜘蛛的路径越干净，它愿意走的次数通常越稳定。
需要说明的是，以上做法都属于提高抓取效率的常规手段，不构成任何收录或排名的保证。蜘蛛抓不抓、抓多少，最终仍由搜索引擎自己判断，运营能做的只是把障碍清掉，把路铺直。