XML 站点地图是写给搜索引擎看的,HTML 站点地图则是写给人、也顺带写给蜘蛛看的。两者分工不同:前者负责批量提交 URL 和 lastmod,后者负责在导航之外提供一个稳定的兜底入口。很多站点运营出问题,不是因为 XML 地图没交,而是因为导航改版、栏目下线之后,一批页面失去了任何可点击的入口。
为什么还需要一个 HTML 站点地图
站内导航通常只覆盖主要栏目和少量推荐位,深层的文章、专题聚合页、历史栏目页,往往要靠列表翻页才能到达。一旦某个列表被重构、分页被合并,这些页面就变成了“只有 XML 地图里还留着 URL”的孤岛。搜索引擎虽然能从地图里读到地址,但缺少内链支撑的页面,抓取优先级和更新感知都会弱一些。
HTML 站点地图的价值就在这里:它是一张人工维护、结构清晰的链接总表,给蜘蛛一条不依赖导航的兜底路径。
结构怎么搭
建议按栏目层级组织,而不是按时间倒序堆砌。
- 一级栏目:首页、各主频道、关于与帮助类页面,放在最上方,一条链接配一句说明。
- 二级入口:每个主频道下的子栏目、专题聚合页,归到对应栏目下。
- 高频更新区:最新内容不必在这里逐个罗列,交给列表页和 XML 地图即可。
- 历史归档:按年份或期数聚合的入口,方便蜘蛛回访旧内容。
不要试图全量罗列
有人把站点地图做成“全站文章索引”,动辄几千条链接,结果页面体积巨大、加载缓慢,蜘蛛也很难判断哪些更重要。比较稳妥的做法是:站点地图只放栏目级和聚合级入口,具体文章交给栏目页和分页去承接。条目控制在几百条以内,人工可读、可维护。
和栏目索引页的分工
栏目索引页本身就是重要的内链枢纽,它面向用户,负责展示该栏目下最值得看的内容;HTML 站点地图面向的是“找路”的需求,负责保证每个栏目都有入口。两者不冲突,但不要互相替代:站点地图取代不了栏目页的推荐位,栏目页也替代不了站点地图的兜底作用。
维护节奏与检查
站点地图最容易出现的问题不是没建,而是建完之后没人管。
- 新增栏目时同步加链接,下线栏目时同步删除或改为指向新栏目。
- 定期抽查页面上的链接是否返回 200,避免自己成为死链源头。
- 改版后对照旧版地图,确认没有大批入口凭空消失。
- 在页脚保留一个稳定入口,比如“网站地图”,别藏在帮助页深处。
把 HTML 站点地图当作一份长期维护的目录表,而不是一次性交付的页面。它的作用不在于多提交几个 URL,而在于当导航结构变化时,站点依然有一条可走的路。
最后提醒一点:站点地图页本身也应该被 robots.txt 允许抓取,并且不要加 noindex。如果不希望它出现在显眼位置,可以只放在页脚,但不要让蜘蛛也找不到。