XML 站点地图是寫给搜尋引擎看的,HTML 站点地图則是寫给人、也顺带寫给蜘蛛看的。两者分工不同:前者负责批量提交 URL 和 lastmod,後者负责在導航之外提供一個稳定的兜底入口。很多站点运营出問题,不是因為 XML 地图没交,而是因為導航改版、栏目下线之後,一批頁面失去了任何可点击的入口。
為什么還需要一個 HTML 站点地图
站内導航通常只覆盖主要栏目和少量推荐位,深层的文章、专题聚合頁、歷史栏目頁,往往要靠列表翻頁才能到達。一旦某個列表被重构、分頁被合並,這些頁面就變成了“只有 XML 地图里還留着 URL”的孤岛。搜尋引擎虽然能從地图里讀到地址,但缺少内鏈支撑的頁面,抓取優先級和更新感知都會弱一些。
HTML 站点地图的價值就在這里:它是一張人工维護、结构清晰的連結總表,给蜘蛛一條不依赖導航的兜底路径。
结构怎么搭
建议按栏目层級组织,而不是按時間倒序堆砌。
- 一級栏目:首頁、各主频道、關于與帮助類頁面,放在最上方,一條連結配一句說明。
- 二級入口:每個主频道下的子栏目、专题聚合頁,归到對應栏目下。
- 高频更新区:最新内容不必在這里逐個罗列,交给列表頁和 XML 地图即可。
- 歷史归档:按年份或期數聚合的入口,方便蜘蛛回訪舊内容。
不要试图全量罗列
有人把站点地图做成“全站文章索引”,動辄几千條連結,结果頁面体积巨大、加载缓慢,蜘蛛也很难判断哪些更重要。比較稳妥的做法是:站点地图只放栏目級和聚合級入口,具体文章交给栏目頁和分頁去承接。條目控制在几百條以内,人工可讀、可维護。
和栏目索引頁的分工
栏目索引頁本身就是重要的内鏈枢纽,它面向用戶,负责展示该栏目下最值得看的内容;HTML 站点地图面向的是“找路”的需求,负责保證每個栏目都有入口。两者不冲突,但不要互相替代:站点地图取代不了栏目頁的推荐位,栏目頁也替代不了站点地图的兜底作用。
维護节奏與检查
站点地图最容易出現的問题不是没建,而是建完之後没人管。
- 新增栏目时同步加連結,下线栏目时同步刪除或改為指向新栏目。
- 定期抽查頁面上的連結是否返回 200,避免自己成為死鏈源头。
- 改版後對照舊版地图,確認没有大批入口凭空消失。
- 在頁脚保留一個稳定入口,比如“網站地图”,別藏在帮助頁深處。
把 HTML 站点地图当作一份長期维護的目錄表,而不是一次性交付的頁面。它的作用不在于多提交几個 URL,而在于当導航结构變化时,站点依然有一條可走的路。
最後提醒一点:站点地图頁本身也應该被 robots.txt 允许抓取,並且不要加 noindex。如果不希望它出現在顯眼位置,可以只放在頁脚,但不要让蜘蛛也找不到。