sitemap 在蜘蛛池里的位置
蜘蛛池的入口页要起作用，第一步是让搜索引擎蜘蛛知道这些 URL 存在。常见路径有三条：入口页之间的内链、外部引荐链接、以及 sitemap 提交。sitemap 不是核心，它的作用是补足内链覆盖不到的部分，尤其是入口页数量较多、层级较深的时候。
如果入口页只有几十个，并且彼此链接通畅，sitemap 的边际作用有限。如果入口页有几千个，靠内链让蜘蛛逐层发现效率会下降，这时把入口页 URL 整理进 sitemap 更实际。
放哪些 URL
sitemap 里应该放入口页自身的 URL，而不是目标站的 URL。跨域 sitemap 一般不被搜索引擎接受，除非你在目标站验证过站点权限并提交该站自己的 sitemap。把目标站 URL 塞进入口页域名的 sitemap，基本是无效操作。
具体放法：
- 状态码为 200 的入口页，且页面内容可正常访问。
- 不希望被索引的页面不要放，例如仅供跳转、内容极薄或有 noindex 的页面。
- 不要放 404、410、500 状态的 URL。
- 参数化 URL 尽量归一，避免同一页面多个参数版本重复提交。
如果入口页有分页，只放第一页或规范版本即可，不必把每页都塞进去。
提交频率怎么定
提交频率没有统一标准，取决于入口页的生成速度和你对抓取节奏的预期。几个原则：
- 增量提交优先。新生成一批入口页就提交一批，不要每天把全站入口页重新提交一遍。
- lastmod 要真实。页面内容确实变了再改，没变就不要动。频繁伪造 lastmod 会让搜索引擎降低对该字段的信任。
- 入口页数量多时，用 sitemap 索引文件，按批次或按目录拆分，单个 sitemap 控制在合理条数内。
- 提交后观察日志，不必每天重复提交同一批 URL。
提交 sitemap 只是告诉搜索引擎“这些 URL 存在”，不保证蜘蛛会来抓，也不保证入口页会被索引。
与 robots、内链的配合
在 robots.txt 里声明 sitemap 地址，是让蜘蛛找到 sitemap 的常规做法。格式简单，一行一条。注意 robots 文件本身要能正常访问，不要因为误屏蔽导致 sitemap 也拿不到。
内链仍然是入口页被发现的主要方式。sitemap 解决的是“蜘蛛知道 URL 存在”，内链解决的是“蜘蛛愿意顺着走”。两者不冲突。入口页之间可以互相链接，但不要做成几千个链接堆在一个页面上，那样容易被判断为链接农场。
常见失误
- 把 sitemap 当主力：只提交 sitemap，入口页之间没有内链，蜘蛛抓取量可能很低。
- 提交不可抓取的 URL：sitemap 里混入 404、noindex 或需要登录的页面，浪费抓取预算。
- lastmod 乱写：每次提交都改时间，但没有实际更新。
- 全量重复提交：每天提交同一批 URL，蜘蛛不会因此增加抓取。
- sitemap 文件过大或格式错误：编码、标签闭合、URL 数量超限都会导致解析失败。
- 忽略日志验证：提交完不看服务器日志，不知道蜘蛛有没有来拿 sitemap。
使用建议
把 sitemap 当成入口页发现链路的补充，而不是救命稻草。入口页少的时候，优先把内链和可访问性做好；入口页多的时候，再用 sitemap 做批量提交。提交后通过日志观察 sitemap 的抓取记录和入口页的抓取量变化，根据实际反馈调整提交节奏。不要因为提交了 sitemap 就期待收录或排名变化，那取决于页面质量、目标站情况和搜索引擎的判断。