入口页搭好之后，真正决定效率的是蜘蛛能不能在合理时间内发现它。URL 发现的手段大致两类：一类是让蜘蛛顺着链接自己找，比如 sitemap、内链、外链；另一类是主动把地址递到搜索引擎面前，比如各类推送接口。这两件事在蜘蛛池里经常被混着说，但它们的覆盖范围和生效速度并不一样。

sitemap 能做和不能做的事

sitemap 本质是一份清单，作用是降低蜘蛛发现新 URL 的成本。它不会提高抓取配额，也不能保证清单里的页面都会被抓、被收录。入口页数量到几百上千之后，sitemap 的收益主要在于：让蜘蛛不必依赖外链一层层爬进来，减少孤岛页长期不被发现的情况。

另一个容易忽略的点是清单质量。sitemap 里的 URL 最好返回 200、内容彼此有差异。把大量 404、301 和内容几乎相同的页面塞进去，通常只会让蜘蛛对整份清单的信任度下降，后续提交也更容易被忽略。

主动推送：适合新页，不适合当日常手段

百度系接口

普通收录 API 和快速收录的权限门槛不同，能推的量也有限。对蜘蛛池来说，比较现实的做法是把额度留给结构上有代表性的一批入口页，比如新上线的模板、新换域名下的首页级页面，而不是把几千个相似页面一股脑推过去。额度用完了，剩下的页面照样要靠链接和 sitemap 去发现。

IndexNow 与其他引擎

IndexNow 走的是 Bing、Yandex 等引擎的通道，提交成本低，基本属于提交即通知。它的效果主要落在这些引擎上，对百度没有直接作用，别指望用一个接口解决全部引擎的发现问题。

入口页的 sitemap 怎么组织

• 只放 200 状态、内容可正常访问的 URL，失效页及时移出；
• 入口页超过一定数量就分片，用 sitemap index 汇总，单文件条目数别撑到上限；
• lastmod 要真实，如果每次生成都刷成当前时间，这个字段很快就没有参考价值；
• 站点地图地址写进 robots.txt，同时保留一个 HTML 版目录页作为兜底路径；
• 入口页模板高度相似时，sitemap 里保留主入口，重复度高的变体少放或不放。

常见误区

• 把 sitemap 当收录开关：提交只是通知，抓不抓、收不收由搜索引擎决定；
• 推送频率越高越好：超出接口限制的请求大多会被丢弃，还可能影响账号可用额度；
• sitemap 和互链二选一：两者互补，sitemap 负责批量告知，内链负责让蜘蛛在入口页之间流转；
• 只看提交成功数：提交成功不等于被访问，真正的指标是日志里对应 URL 的抓取记录。

一个可以照着执行的节奏

1. 入口页上线并自测返回 200、内容不重复，再生成 sitemap；
2. 当天提交一次 sitemap，同时推一批结构上最有代表性的 URL；
3. 之后按实际更新节奏提交，页面有实质改动再推，不要按天机械推送；
4. 每周对照访问日志，看被推的 URL 里有多少真的出现了蜘蛛 UA；
5. 连续两周没有抓取记录的入口页，回头检查跳转、robots、状态码，而不是继续加推送量。

判断一套 URL 发现方案有没有用，不看提交成功的条数，看日志里被推的 URL 和被访问的 URL 这两个集合的重合度。

最后提醒一点：sitemap 和推送都只是把地址送到搜索引擎门口，页面本身能不能被信任、入口页到目标站的路径是否清晰，才是影响后续抓取频率的部分。这两件事没理顺，加再多推送渠道，也只是把同样的地址重复报几遍而已。