很多站长会看到类似现象：搜索蜘蛛每天来访次数不少，但详情页的抓取记录很少，大量请求停留在列表页、分页和带参数的筛选页上。这通常不是蜘蛛“不愿意抓”，而是站点的入口结构把抓取额度消耗在了低价值页面上。本文从抓取预算分配的角度，整理一套可落地的观察和调整方法。

先理解抓取预算被谁消耗

抓取预算可以粗略理解为搜索引擎在给定时间内愿意为站点付出的抓取请求量。它受站点规模、更新频率、服务器响应和抓取价值判断共同影响。对多数中小站点来说，预算不是无限量，因此入口设计会直接影响详情页被发现的概率。

• 列表页、分页、标签页、筛选排序页数量多，且互相链接，容易形成大量可抓取 URL。
• 详情页若缺少从高权重页面直达的内链，发现路径会变长。
• 同一批列表页频繁变化，可能反复吸引抓取，而详情页更新后却没有明显入口提醒。

用访问日志分辨入口消耗

先不要急着改模板。把最近一段时间的蜘蛛访问日志按路径类型分组，观察请求量占比。常见分组包括：首页、栏目列表页、分页、详情页、标签或聚合页、筛选页、Sitemap 和静态资源。

1. 统计各分组被抓取的次数和状态码分布。
2. 看详情页被抓取时，来源是 Sitemap、内链还是列表页翻页。
3. 检查分页是否出现大量参数组合，例如排序、筛选、页码叠加。
4. 对比更新频率与抓取频率，找出“常更新但少抓取”的详情页。

若日志显示分页和筛选页占比过高，而详情页长期偏低，说明入口需要收敛。若详情页抓取不少，但状态码异常或响应慢，则优先回到服务器稳定性排查，而不是继续堆入口。

列表页与分页的常见消耗点

列表页是详情页发现的主要通道，但设计不当会放大消耗。比如分页使用无限滚动、按钮点击加载，却没有可抓取的下一页链接；或者翻页参数可以被任意组合，生成大量内容重复的页面。

• 让分页有稳定链接：每一页都有独立 URL，并保留“下一页”和内链入口，不要只靠 JS 加载。
• 控制可抓取页码：对深层分页设置合理的可见范围，历史页码可通过归档或 Sitemap 单独管理。
• 收敛筛选参数：对排序、视图等无实质内容差异的参数做规范化或 robots 限制，避免生成大量近似入口。
• 避免列表页频繁全量更新：若列表只是时间顺序变化，可考虑让详情页更新通过内链或 Sitemap 更直接地暴露。

把详情页入口补到更短路径

详情页如果只能从深层分页进入，发现效率会明显下降。可以从几个方向缩短路径：

• 在栏目首页增加“最新”“热门”“编辑推荐”等模块，直接链接到近期更新的详情页。
• 在相关文章、上下篇、专题聚合中保留稳定内链，但不要为了数量堆砌无关链接。
• 对重点内容建立人工维护的入口页，控制数量，定期清理失效链接。
• 检查详情页之间的链接是否因模板改版丢失，尤其注意空锚点和 JS 跳转。

入口不是越多越好。可抓取 URL 数量增长过快时，蜘蛛会把时间花在重复和低价值页面上，真正需要更新的详情页反而被延后。

Sitemap 与内链的配合方式

Sitemap 更适合表达“希望被发现”的 URL 集合，内链更适合表达“站点认为重要”的路径。两者冲突时，蜘蛛通常会参考内链和实际抓取反馈。

1. Sitemap 中优先放详情页和少量高质量栏目页，不要把筛选参数页全部塞进去。
2. lastmod 要反映真实内容修改时间，避免每次生成都全量刷新。
3. 内链指向的 URL 应与 Sitemap 中的规范 URL 一致，减少大小写、尾斜杠和编码差异。
4. 对已失效或合并的详情页，及时用 301 指向新地址，并从 Sitemap 和内链中移除旧入口。

调整后的观察节奏

入口调整后不要频繁改动。建议以一周到两周为一个观察窗口，对比蜘蛛访问日志中详情页占比、状态码变化和抓取深度。如果详情页抓取增加，但服务器响应时间上升，需要同步检查带宽、缓存和数据库查询，避免稳定性问题抵消入口优化。

如果调整后没有明显变化，先确认改动是否真的上线、是否被缓存覆盖，再检查 robots、Sitemap 和 CDN 规则是否阻止了新入口。抓取调整通常是渐进过程，稳定的结构和可预期的更新信号，比短期堆链接更可靠。