搜索蜘蛛发现新 URL，很多时候不是从 Sitemap 开始的，而是沿着列表页、分类页、聚合页这类入口逐层向下。入口页一旦变成空壳，蜘蛛仍然会按计划访问，但拿不到继续向前的链接。这类问题通常不吵不闹，日志里全是 200，URL 发现速度却慢慢变差。
空列表页与软 404 是什么
空列表页指页面本身能打开，状态码是 200，但列表区域没有条目，或者只有一句“暂无相关内容”。软 404 则是页面返回 200，内容却近似错误提示，比如“该分类不存在”“没有找到结果”。两者对用户和蜘蛛都不友好，但蜘蛛不会收到明确的 404 信号。
状态码正常不代表页面有效。蜘蛛判断入口价值时，会看页面里有没有可继续抓取的链接、正文是否稳定。
为什么入口失效会拖慢 URL 发现
入口页承担发现职责
详情页、文章页如果只靠 Sitemap 出现，发现速度通常慢于内链。列表页和聚合页相当于路标，蜘蛛每次来访都能沿着它们找到新地址。入口页一空，下游 URL 就少了一条固定路径。
空入口会占用抓取额度
蜘蛛仍会定期回来检查空列表页，希望看到更新。如果没有设置合理的更新频率，也没有从内链中移除，这些页面会反复被请求，挤占真正有价值页面的抓取。
软 404 可能被误判为低质
长期返回 200 的空页面，容易让蜘蛛把整个目录的抓取优先级调低。之后即使补充了内容，也需要一段时间才恢复抓取。
从日志核对入口失效
- 筛选状态码为 200 的列表页、分类页、标签页，按访问量从高到低排列。
- 对照页面实际输出，检查列表区域是否有条目，分页链接是否可点。
- 查看该入口被抓取后，后续详情页是否还在被访问。如果入口访问正常但下游 URL 访问量下降，入口可能已经失效。
- 记录连续多次抓取都返回空内容的入口，作为待处理清单。
- 检查 Sitemap 是否仍然包含这些入口。如果包含，考虑暂时移出或降低优先级。
处理顺序：先判断类型
不要一上来就把所有空页面改成 410 或 404。先区分三种情况：
- 临时缺内容：比如新分类还没上商品。保留页面，补充“即将上线”的说明和返回上级的链接，不要让它完全空。
- 内容已迁移：把旧入口 301 到新的有效入口，并在内链中更新链接。
- 确实不存在：让服务器返回 404 或 410，同时从 Sitemap 和内链入口中清理。
处理完成后，再用日志观察入口页访问是否减少，下游 URL 是否重新出现抓取记录。
日常维护清单
- 列表页至少保留一条有效链接，哪怕是推荐的替代入口。
- 分页页在末页之后不要返回空 200，可以返回 404 或跳转到列表首页。
- 聚合页要有明确的收录范围，不生成大量永远无内容的组合页。
- 内链中不要长期保留空入口，避免蜘蛛反复进入死胡同。
- 对重要入口设置合理的更新信号，比如内容变化时更新 Sitemap 时间戳。
小结
空列表页和软 404 不会立刻让站点出问题，却会悄悄削弱 URL 发现效率。把入口页当成抓取通道来维护，比单纯增加外链或推送更稳定。先让蜘蛛每次来访都有路可走，新内容的发现自然会顺畅一些。