抓取预算不是配额，而是蜘蛛的取舍
很多站长把抓取预算理解成“每天固定给多少条”，其实更接近一种取舍逻辑：蜘蛛在有限时间内，会优先爬它认为值得更新的页面。入口页的作用是提供发现路径，但如果入口页本身质量低、链接重复，蜘蛛可能在同一个站群里反复绕圈。
换句话说，抓取预算不是被“用完”的，而是被“分散”的。入口页越多，单个 URL 被重新访问的概率就越低。目标页能不能被及时发现，取决于入口页有没有把蜘蛛引到正确的路径上。
入口页上容易被浪费的几类 URL
- 无限翻页与日历归档：列表页的下一页、按日期归档、按标签分页，如果没有边界，蜘蛛会顺着一直爬。这些页面通常没有独立价值，却会持续产生新 URL。
- 参数组合页：排序、筛选、会话 ID、跟踪参数，同一个内容可以生成几十个地址。蜘蛛会把这些当成不同页面，反复请求。
- 空列表与无结果页：筛选后没有内容的页面，如果仍然返回 200，蜘蛛可能把它当作有效页抓取，但页面上没有可用的跳转。
- 重定向链：入口页到目标页之间如果经过多次跳转，每次跳转都会消耗一次请求，还可能让蜘蛛在中途放弃。
抓取预算的浪费往往不是一次性的，而是入口页模板批量复制后产生的。一个模板里多一条无意义链接，乘以入口页数量，就是成百上千次无效抓取。
把蜘蛛引向目标页的几个做法
减少浪费不等于把入口页删光，而是让入口页上的每个链接都有明确去向。可以从下面几个方面调整。
- 入口页只保留少量有效链接：一个入口页放三到五条目标页链接通常够用，链接太多反而稀释权重和抓取意愿。
- 链接写在初始 HTML 里：蜘蛛不一定会执行 JavaScript，依赖脚本渲染出来的链接，发现效率会打折扣。
- 控制入口页数量，宁少勿滥：如果一百个入口页都在指向同一批目标页，蜘蛛没有理由反复访问。先小规模测试，观察日志里目标页是否被触达，再决定是否扩展。
- 用 sitemap 辅助，但不要依赖它：sitemap 能帮助发现 URL，但蜘蛛是否抓取仍取决于入口页和站点整体质量。它不能替代合理的链接结构。
- 定期看日志里的首次发现与重复抓取：哪些 URL 第一次被蜘蛛看到、哪些被反复请求却没有变化，这些信息比单纯统计蜘蛛次数更有用。
几个常见误区
- 蜘蛛抓得多就是效果好：抓取量高只说明入口页被访问了，不代表目标页被发现或收录。要区分抓取、发现和收录三个概念。
- 入口页越多，目标页越容易被发现：入口页之间如果内容重复、链接相同，蜘蛛会降低重新抓取的频率，数量优势反而变成负担。
- 用 nofollow 就能控制一切：nofollow 只是建议，蜘蛛仍可能抓取。更重要的是从源头减少无效 URL 的生成。
一个简单的自查顺序
如果发现蜘蛛来得不少、目标页却没动静，可以按这个顺序查：先看入口页是否返回正常状态码，再看入口页上的链接是否写在 HTML 里，接着看链接指向的页面是否有内容、是否返回 200，最后看日志里目标页有没有被请求过。很多时候问题不在蜘蛛池本身，而在入口页到目标页之间的路径太长或太乱。
抓取预算的管理是长期动作。入口页上线后，过一段时间回看日志，把没人抓、反复抓但没变化的 URL 清理掉，比不断新增入口页更有效。