站点地图常被当成“提交一次就完事”的文件。实际上，它更像一份发给搜索引擎的地址清单：哪些页面值得抓、哪些不该出现、最近改了什么。清单列得清楚，蜘蛛在站内找路时少绕弯；列得混乱，反而会把抓取额度浪费在无效地址上。下面按自查顺序，把站点地图该管的几件事过一遍。
一、先分清 XML 站点地图和 HTML 站点地图
两种文件常被混着说，用途并不一样。
- XML 站点地图：给搜索引擎读的，一般放在根目录，内容是一串地址加上可选的最后修改时间等字段。
- HTML 站点地图：给用户读的，通常是一个“网站地图”页面，按栏目列出主要入口，顺带也能帮蜘蛛走到深层页面。
自查时先确认两件事：XML 文件能正常打开、返回正常状态码；HTML 地图页不是空的占位页，也没有被 robots 规则挡住。
二、该放进去的地址
- 栏目首页和主要列表页：这些是站内分发入口，优先列。
- 有独立价值的内容页：正文完整、有自己的标题和描述。
- 近期更新过的页面：把最后修改时间写准确，比写得频繁更有用。
三、不该放进去的地址
- 筛选参数组合页、站内搜索结果页，这类地址数量容易膨胀。
- 需要登录才能看的页面、后台地址、测试环境地址。
- 已经失效，或者被规范地址指向别处的重复页。
- 已经在 robots.txt 里屏蔽的地址——写进去只会互相矛盾。
判断标准其实很简单：如果你不希望用户从搜索结果直接进这个页面，就别把它写进清单。
四、体积与拆分
单个文件别塞太多条地址，通常控制在几万条以内比较稳妥；超过之后，可以按栏目或按内容类型拆成多个文件，再用一个索引文件串起来。字段不必写满，最后修改时间写准确即可，把每个字段都填成“每天更新”反而让这个信号失去意义。
五、更新与提交的节奏
不需要每天手动重传。让程序在内容发布、修改、下线时自动同步对应条目，是更省事的做法。提交之后，隔一段时间回访问日志，看蜘蛛是否真的来取过这份文件、取完之后有没有顺着里面的地址往下走。如果文件被抓得很勤，但站内深层页面的访问量没什么变化，多半是清单里塞了太多低价值地址，值得回头精简一轮。
站点地图是线索，不是收录承诺。它做的是把门打开、把路标立好；至于蜘蛛走不走、走多深，还要看页面本身值不值得抓。
六、一份可以照着做的自查清单
- 文件能正常访问，返回正常状态码，格式没有报错。
- 里面列的都是可公开访问、内容完整的页面。
- 没有把已屏蔽、已失效、重复的地址写进去。
- 最后修改时间与页面实际更新时间对得上。
- 新栏目上线后，清单里能及时出现入口地址。
- 提交之后，在访问日志里能看到对应的抓取记录。