蜘蛛池的入口页能不能被尽早发现，很大程度上取决于你有没有给蜘蛛留一条明确的路。站点地图（sitemap）和主动推送是这类路径里成本最低的两条：前者把 URL 集中摆在一个固定位置，后者直接把 URL 递到搜索引擎的入口。两者都不保证收录，也不保证立刻抓取，但能明显减少蜘蛛只能靠外链一点点爬、甚至完全找不到的情况。
sitemap：把入口 URL 集中交出去
sitemap 的价值在于确定性。蜘蛛不需要猜你的 URL 结构，只要定期来取这个文件即可。落地时注意几点：
- 单文件通常不超过 5 万条 URL、未压缩体积控制在 50MB 以内，超出就用 sitemapindex 分片；
- 只放你希望被访问的页面，状态码正常、内容可读的入口页才值得写进去；
- lastmod 写真实的内容更新时间。乱填一个每天变化的时间戳，短期看似积极，长期会让这个字段失去参考意义；
- 把 sitemap 地址写进 robots.txt 的 Sitemap 行，位置放在文件靠前的部分，方便蜘蛛顺路读取。
如果入口页是多套模板、多个域名，可以按域名或按模板分片，出问题时也方便定位是哪一批 URL 拖慢了整体表现。
主动推送：比 sitemap 再快一步
主动推送相当于不等蜘蛛来取，直接把 URL 送过去。常见渠道有几类，实际使用中的差别主要体现在配额和生效节奏上：
- 搜索资源平台类接口：通常按天给配额，适合把当天新增或更新的入口页小批量提交；
- IndexNow 类协议：一次提交可以覆盖多个参与的引擎，接入成本低，适合自动化脚本调用；
- 站长后台手动提交：量小但可控，适合验证某个 URL 是否真的能被抓取。
无论用哪种，都建议先把少量 URL 提交出去，观察日志里蜘蛛的到访情况，再决定是否放大批量。一上来就推几万条，很容易把配额浪费在还没准备好的页面上。
提交时该避开哪些页面
- 状态码为 404、410 的页面；
- 会跳转到其他地址的中间页；
- 带大量无意义参数的列表页和筛选页；
- 内容几乎相同的模板页，重复提交只会互相稀释。
推送只是把 URL 放进候选队列，抓不抓、什么时候抓，仍然取决于站点当时的状态和蜘蛛自己的调度。
一个可以照着走的顺序
- 先确认入口页本身能正常打开，返回 200，正文可读；
- 生成 sitemap，按域名或模板分片，并在 robots.txt 里声明；
- 挑十几条代表性 URL 走一次主动推送；
- 过几天回看日志，确认蜘蛛是否按 sitemap 或推送记录来抓；
- 抓取正常后再逐步扩大推送量，同时保持 sitemap 的更新。
几个常见的误区
- 把提交当成收录，提交完就不管页面质量；
- 每天把全站 URL 重复推一遍，占满配额；
- 在 sitemap 里混入外链站或无关页面；
- 只看推送返回成功，不看后续日志里的实际抓取。
把 sitemap 当作长期的基础设施，把主动推送当作阶段性的加速手段，两者配合使用，再结合日志反馈调整节奏，通常比单纯堆入口页数量更稳妥。