很多站点已经有 XML sitemap,却忽略了 HTML 站点地图页。两者名字接近,作用并不相同。XML sitemap 更像交给搜索引擎的 URL 清单,HTML 站点地图页则是用户和蜘蛛都能访问的导航页。它不保证页面被收录,但能把站内主要入口集中起来,让蜘蛛少走一些断头路。
它和 XML sitemap 不是一回事
XML sitemap 通常放在根目录,通过 robots.txt 或 Search Console 提交,内容以 URL 列表为主。HTML 站点地图页是一个普通页面,有标题、有描述、有可点击链接。蜘蛛抓取它时,会顺着链接继续走;用户访问它时,也能快速找到栏目和内容。
两者可以并存。XML sitemap 负责告诉搜索引擎“这些 URL 存在”,HTML 站点地图页负责提供一条可点击的路径。不要用 HTML 站点地图页替代 XML sitemap,也不要把全站几十万 URL 都塞进一个页面。
放在哪里,蜘蛛才容易走到
常见位置是页脚全站链接,或者主导航的二级入口。页脚链接出现在大多数页面,蜘蛛从任意页面落地后,都有机会走到这里。导航入口则更显眼,适合用户查找。
如果站点层级较深,可以在首页放一个“站点地图”文字链接,同时在页脚保留入口。不要只靠 XML sitemap 提交,因为蜘蛛不一定每次都会优先处理它。
怎么组织链接:按主题分组而不是堆列表
一个可用的 HTML 站点地图页,重点是让路径清楚,而不是链接数量多。可以按栏目、内容类型、地区或时间分组。
- 主要栏目:导航里的一级、二级栏目,放在最前面。
- 热门或核心内容:挑真正有代表性的页面,不必把最新文章全部列上。
- 深层入口:标签页、专题页、作者页等,如果它们承担桥梁作用,可以放一部分。
- 辅助页面:关于、联系、帮助中心等,视情况放在后面。
每个分组前用一句话说明,链接文字尽量使用页面真实标题或栏目名,避免“点这里”“更多”这类没有上下文的锚文本。
哪些链接不该放
HTML 站点地图页不是链接仓库。放太多低价值 URL,会稀释页面重点,也可能让蜘蛛把抓取路径花在重复或无效页面上。
- 带跟踪参数的 URL,例如来源、排序、筛选参数。
- 登录后、购物车、用户中心等需要权限的页面。
- 已经 404 或长期不更新的临时页面。
- 大量重复的列表分页,除非这些分页确实需要被发现。
- 与当前页面主题无关的外链。
如果某些链接不想让蜘蛛继续跟,可以用 nofollow,但更重要的是从源头减少无效入口。不要让 HTML 站点地图页变成全站链接的倾倒场。
更新与维护
HTML 站点地图页需要定期检查。栏目调整、URL 改版、内容下线后,页面上的链接可能失效。建议每月或每季度看一次,重点检查状态码、链接文字和分组是否还准确。
新增重要栏目时,可以同步加入。不要把“自动抓取全站最新文章”当成唯一更新方式,否则页面容易变成动态列表,链接频繁变化,反而让抓取路径不稳定。
和内链、XML sitemap 配合
三者可以分工:内链负责日常路径,XML sitemap 负责提交 URL 清单,HTML 站点地图页负责给出一条集中的可点击入口。如果发现某些深层页面长期没有被抓取,可以先检查它们是否在 HTML 站点地图页或内链中有入口。
注意,HTML 站点地图页只是入口之一,不保证蜘蛛一定会抓取每个链接。页面上的链接应该指向真正希望被发现的 URL,并且目标页面要能正常访问、内容完整。
自查清单
- 页脚或导航是否有稳定入口?
- 链接是否按主题分组,而不是一长串堆叠?
- 锚文本是否能看出目标页面内容?
- 是否排除了参数页、登录页和失效页?
- 是否与 XML sitemap 的主要 URL 保持一致?
- 最近一次检查是什么时候?
把 HTML 站点地图页当成一条路径索引,而不是收录工具。它不会直接提升排名,但能让蜘蛛和用户更快找到主要页面,减少在站内绕路的机会。