做蜘蛛池时，一个常见分歧是：入口页铺上去之后，是写一份 sitemap 等蜘蛛按图索骥，还是用搜索引擎提供的推送接口主动提交。两种做法不冲突，但解决的问题不一样，混着用容易把节奏搞乱。

sitemap 更像地图，不是催促

sitemap 的价值是告诉蜘蛛“这里有哪些 URL 值得看”，它并不保证抓取时间。对蜘蛛池来说，入口页数量多、结构相似，一份 sitemap 至少要保证里面的 URL 可访问：状态码正常、不是死链、不靠跳转、不需要登录或验证。

• sitemap 里放入口页，也可以放少量有内容的中间页；
• 不要把同一批参数变体全部塞进去，参数 URL 容易分散抓取；
• sitemap 文件本身要能被抓到，路径尽量固定，别频繁换位置。

如果 sitemap 里混入大量打不开的地址，蜘蛛来过几次之后，对整份文件的信任度会下降，后面真正需要被发现的入口页也会受影响。

推送接口解决的是“新 URL 被发现得慢”

推送接口适合刚上线的入口页，能让搜索引擎更快知道这些 URL 存在。但它同样不等于收录。推送之后蜘蛛可能只来一次，抓完就走，是否留下取决于页面本身有没有可读内容、能不能正常打开。

常见的误区有两个：一是把推送当收录开关，一天推几千条同模板页面；二是推送的 URL 和实际可访问的 URL 不一致，比如带了一串参数、中途有跳转、或者页面需要验证才能看到。这两种做法都会消耗推送额度，却换不来看得见的抓取。

入口页规模大时，推送要和抓取预算一起看

如果一次上几千个入口页，全量推送反而会让蜘蛛在一个批次里集中抓取，服务器压力变大，质量差的页面也会被更快识别出来。更稳妥的做法是分批：

1. 先推一批结构清晰、内容相对完整的入口页；
2. 观察日志里蜘蛛的抓取量、状态码分布和停留情况；
3. 稳定之后，再补下一批，而不是一次推完。

另外，尽量避免在同一时间段既全量推送、又改 sitemap、又换模板。一旦出问题，很难判断是哪个动作引起的。

哪些入口页不值得推

• 只有占位文字、正文和标题无关的空壳页；
• 返回跳转或错误状态的页面；
• 需要 JS 渲染才有内容、但蜘蛛拿不到渲染结果的页面；
• 同一套模板复制出来，只换了域名和关键词的页面。

这些页面放进 sitemap 同样会浪费抓取资源。与其硬推，不如先补内容或修状态码。

推送之外，别忘了内链和外部入口

推送和 sitemap 都是“主动告知”，而蜘蛛真正习惯的还是跟链接走。入口页之间如果完全孤立，只靠推送，蜘蛛拿到的爬取路径就是断的。适当的导航、分类页、相关推荐链接，能让蜘蛛顺着链接继续走，也方便它在一个站内找到更多入口页。

推送和 sitemap 只影响“发现”，不影响“评估”。入口页能不能留下来，还是看页面本身有没有可读内容、能不能正常访问。

一个简单的执行顺序

1. 入口页上线后先检查状态码、内容和协议配置；
2. 生成 sitemap，路径固定，只放可访问的 URL；
3. 对新入口页做小批量推送，观察几天日志；
4. 根据实际抓取情况决定下一批推送量；
5. 入口页之间补上必要的链接关系，别让页面孤立。

不用追求“全部推完”。发现得快一点，不等于留下来多一点。