蜘蛛池的核心是让入口页被尽可能多的搜索蜘蛛发现，而 sitemap 是最容易被忽略的一条通道。它不直接决定抓取结果，但会影响蜘蛛发现 URL 的效率，尤其是新上线的入口页。
先想清楚：入口页需要被发现的是什么
入口页本身通常内容不厚，价值在于它指向目标页的链接。所以 sitemap 要解决的问题只有一个：让蜘蛛尽快拿到这批入口 URL，而不是靠外链或首页慢慢爬。
如果入口页已经能从其他被抓取的页面自然到达，sitemap 的边际作用就比较有限；如果入口页是孤立的、外链少、层级深，提交的价值会明显一些。
提交和被动发现有什么差别
被动发现
依赖已有页面上的链接，以及蜘蛛自己的调度。好处是不用额外维护，坏处是发现时间不可控，尤其是入口页批量上线时。
主动提交
通过 sitemap 文件、搜索引擎站长平台提交，以及部分平台支持的即时推送接口，把 URL 直接告知。需要注意的是：各平台对推送的支持程度、配额和响应都不同，提交只代表“我知道了”，不代表会马上抓取，更不代表会被收录。
sitemap 的写法要点
- 只放可正常返回 200 的 URL，不要放 3xx 跳转地址、404 或需要登录才能访问的页面。
- 单文件 URL 数量控制在平台建议范围内，超过就拆分成多个文件，并用索引文件汇总。
- lastmod 要真实。每次微小改动就刷新时间，容易让这个字段失去参考价值。
- URL 要和页面里的规范链接保持一致，避免带参数和不带参数的版本混着出现。
- 在 robots.txt 里写明 sitemap 地址，方便蜘蛛定位。
- 不要给屏蔽抓取或带 noindex 的页面做提交，两者会互相打架。
关于即时推送
部分搜索引擎提供 API 推送或类似机制，能绕开 sitemap 的轮询周期。使用前先确认目标平台的规则、配额，以及是否需要验证站点归属。推送频率不要异常，短时间大量推送容易触发风控；同时推送不等于抓取，别把它当成效果保证。
常见误区
- 把目标页也一起塞进 sitemap。目标页的暴露节奏应该由入口页控制，混在一起会让整批 URL 的关系变得混乱。
- 每个域名都建一份 sitemap，却从不检查返回状态。文件本身 404 或返回 HTML 错误页的情况并不少见。
- 入口页下线后忘了从 sitemap 里移除，蜘蛛反复来抓 404 或 410，浪费抓取预算。
- 把 sitemap 当成收录开关。它只是告知，不改变页面质量和站点整体的可抓取性。
一份简单的执行清单
- 确认入口页当前靠什么被发现：外链、已有页面链接，还是完全没有入口。
- 整理出可返回 200 的入口 URL 列表，剔除跳转和失效地址。
- 按数量拆分 sitemap，写好索引文件，并在 robots.txt 中声明。
- 在站长平台提交，观察访问日志里蜘蛛对入口页的抓取是否出现变化。
- 按周或按批次复查：新增入口页及时补进去，下线入口页及时删掉。
sitemap 和推送解决的是“蜘蛛知不知道这些 URL”，解决不了“蜘蛛愿不愿意抓、抓完愿不愿意留”。如果主站本身可抓取性差、内容重复严重，提交再多入口页也难有明显变化。
最后提醒一句：不同搜索引擎对 sitemap 和推送的处理逻辑差异不小，实测时最好分开看日志，别用一家平台的表现去推断另一家。