蜘蛛池铺入口页，本质上是给搜索引擎制造更多“可以从这里往下走”的起点。但起点铺好了，蜘蛛未必知道它们存在——发现环节如果断了，后面再多的入口页也只是躺在服务器里。sitemap 和主动推送，就是补上发现环节最常见、成本也最低的两件事。
sitemap 在蜘蛛池里解决的是“告知”，不是“抓取”
sitemap 的作用是给蜘蛛一份 URL 清单，告诉它这些地址是可访问的、大概什么时候更新过。它不会让蜘蛛立刻来抓，也不决定这些页面会不会被收录。不少人把 sitemap 当成加速开关，铺完入口页就反复提交，结果日志里 sitemap 被抓了很多次，入口页本身却没什么蜘蛛来，问题往往出在页面质量、链接层级和站点整体可信度上，而不是提交得不够。
另外要注意，蜘蛛对 sitemap 里的 URL 仍会做一轮筛选——它更倾向于跟那些结构合理、和已知内容有关联的地址。如果一份 sitemap 里塞满几万个模板完全一致、彼此之间又没有内链关系的入口页，实际被跟过去的比例通常不会高。
入口站的 sitemap 和目标站的 sitemap 要分开处理
蜘蛛池常见的结构是：一批入口站负责把蜘蛛引进来，真正的目标站另有一份 URL 清单。这两类地址应该各自放在对应域名的 sitemap 里，不要为了省事把目标站的 URL 集中写进入口站的 sitemap，也不要跨域名混放。跨域提交除了不容易被采纳，还会让入口站的 sitemap 与站内实际链接结构脱节，蜘蛛跟过来之后发现页面之间毫无关联，抓取意愿会下降。
如果入口页是多层结构，建议按层级拆成多个 sitemap，再用 sitemap 索引串起来，方便后续观察哪一层被吃得比较多。
主动推送的几种方式，各有适用场景
- 搜索资源平台的提交接口：适合 URL 数量可控、更新有节奏的站点，提交后仍需等蜘蛛调度。
- RSS / Atom 订阅源：部分搜索引擎和聚合服务仍会读取，适合持续新增入口页的场景。
- 内链与外链引导：最“笨”也最稳的方式，蜘蛛沿着真实链接走，比清单式提交更贴近它的抓取习惯。
- ping 类服务：早期用于通知博客更新，如今多数已失效或不再被重视，不适合当作主要手段。
几个容易踩的坑
- 把 sitemap 当成“提交越多越好”的计数器，忽略页面本身是否值得抓。
- 伪造 lastmod 时间，每次都标成当天更新，蜘蛛很快会降低对这个字段的信任。
- sitemap 里混入 404、301 跳转或需要登录才能看的地址，白白消耗抓取预算。
- sitemap 文件放在 robots.txt 禁止抓取的目录下，等于自己把路堵上。
- 只提交、不维护，入口页已经下线了，sitemap 里还留着大量死链。
使用时可以注意的几点
- 一个入口站配一份自己的 sitemap，单文件控制在 5 万条 URL、未压缩 50MB 以内，超出就拆分。
- 只在内容真正变化时更新 lastmod，别为了显得活跃而频繁改时间。
- 提交频率跟着更新节奏走，有新增再提交，而不是每天全量重推一遍。
- 定期看日志里 sitemap 抓取次数和入口页抓取次数的比例，如果 sitemap 被反复读、入口页却没什么动静，说明问题不在提交环节。
- sitemap 里的 URL 尽量和站内真实链接结构保持一致，让蜘蛛从清单进来后还能顺着内链继续走。
提醒：sitemap 和推送只是把地址告诉蜘蛛，是否收录、排位如何由搜索引擎自行判断，任何工具都不能替代内容本身和站点整体质量。
把 sitemap 和推送当成蜘蛛池里的“门牌”来用会比较合适：它让蜘蛛知道门在哪里，但门后面有没有值得看的东西，还是要靠页面本身。发现环节做得再细，也只是把被抓到的概率往前推一点，别指望它解决所有问题。