搭蜘蛛池的人常会问一个问题：既然有 XML 站点地图，能不能少做几个入口页，直接把 sitemap 交出去就够了？这个想法不算离谱，但把站点地图当成入口页的替代品，结果通常不理想。

sitemap 和入口页干的是两件事

站点地图的作用是“告知”。它把一批 URL 列成清单交给搜索引擎，让抓取调度知道这些地址存在。它不负责引导路径，也不负责把权重从一个页面递到另一个页面。

入口页的作用是“带路”。蜘蛛落在入口页上，顺着页面里的链接一跳一跳往下走，形成一条可追踪的路径。这条路来自链接关系，而不是一份名单。

用一句话区分：sitemap 决定蜘蛛“知道”哪些 URL，入口页决定蜘蛛“走到”哪些 URL。名单再全，没有路，抓取深度和重访频次也很难起来。

站点地图在池子里值得做的几件事

• 给新上线的入口页一条快速通道。内链还没织好时，先把地址交出去，比干等蜘蛛自己发现要快。
• 补齐孤立页面。有些目标页在内链结构里没被覆盖到，可以借 sitemap 做补充。
• 帮抓取调度判断更新。写得准确的 lastmod，能让重访更有针对性，而不是一整片页面反复重扫。

写法上的几个要点

格式与体积

用标准 XML 格式，单文件的 URL 数量控制在通用规范上限以内（一般五万条、未压缩五十兆字节），超了就分片，再用 sitemap index 汇总成一个索引文件。文件可以 gzip 压缩，但要确认能正常解压、内容类型正确，否则解析会直接失败。

lastmod 不要乱写

把 lastmod 每次都刷成“今天”，是最常见的坏习惯。搜索引擎会拿它和页面实际内容比对，长期对不上，这个字段就会被忽略，之后再写也没人信。内容真的改了再更新，没改就保持原值。

只放能正常返回的地址

把 301、404、noindex 的页面塞进 sitemap 没有意义，还会拉低整份文件的可信度。定期用脚本跑一遍状态码，把不正常的地址清出去，比堆更多 URL 有用。

在蜘蛛池里的合理分工

比较稳妥的做法是让 sitemap 交名单，入口页铺路线：

1. 新域名上线时，先放一批入口页，同时提交 sitemap，两条路一起走。
2. 入口页之间互相链接，形成网状结构，保证从任意一个入口都能走到大部分页面。
3. sitemap 里以入口页为主、目标页为辅，不要把成千上万条目标页全堆进去。
4. 把 sitemap 地址写进 robots.txt，同时确认 robots 里没有把 sitemap 文件本身挡掉。

第四点经常被忽略：robots 里写了 Disallow: / ，又指望蜘蛛来读 sitemap，等于自己把门关上了。

几个容易踩的误区

• 以为提交了就一定会被收录。提交只是告知，是否抓取、是否收录由搜索引擎自己决定，谁也保证不了。
• 把所有页面一股脑塞进去，包括标签页、分页、带参页面，结果抓取额度被稀释，重点页面反而排不上。
• sitemap 更新了却没有重新提交，robots 里也没有声明，蜘蛛很久都发现不了这份文件。
• 多个站点共用同一份 sitemap，里面的 URL 属于另一个域名，这种交叉基本起不到作用。

一个简单的落地清单

• 每站一份 sitemap index，按类型分片：入口页、目标页、归档页分开。
• 生成脚本自动校验状态码与 lastmod，避免人工过一遍。
• robots.txt 里写上 Sitemap 行，并检查没有冲突规则。
• 每周看一眼日志里 sitemap 文件的抓取记录，长期无人抓取就先查格式和声明。
• 把它当辅助手段，不指望它替代入口页和内链结构。

站点地图解决的是“知道”，内链解决的是“到达”。池子里真正起作用的是后者，前者只是让过程快一点点。