聊 URL 发现，大多数人的第一反应是 XML Sitemap。其实站内还有另一个同名东西——用户能点、蜘蛛能爬的「网站地图」页面，也就是 HTML sitemap。它替代不了 XML Sitemap，但能补上后者做不到的一件事：给蜘蛛一条可以顺着点下去的站内通路。
两者分工不一样
XML Sitemap 是给抓取器看的清单，作用是告诉搜索引擎「站里有这些 URL」。但清单只是候选，蜘蛛是否真的去抓，还要看这个地址在站内能不能走到。HTML 站点地图页解决的正是后一半：它本身就是一个普通页面，里面全是站内链接，蜘蛛抓完这一页，等于同时拿到了几十上百条新路径。
它最能帮到哪几类页面
- 点击深度较深的详情页：从首页要点五六次才到的页面，在这里可能只隔一次点击。
- 暂时没有入口的新页面：新栏目还没进全局导航，可以先进站点地图页。
- 孤儿页：站内任何地方都不链的页面，至少在这里留一个入口。
需要说明的是，这里说的是「帮助被发现」，不是「保证被收录」。最终能不能进索引，还是要看页面本身的质量和重复程度。
内容怎么组织
常见做法是按栏目分区罗列，每块配一个小标题。具体可以注意几点：
- 按频道分组，每组控制在十几到几十条，避免一个列表里堆几百个链接。
- 链接文字用页面真实标题，不要写「点击这里」「详见」。
- 重点栏目和热门分类放在靠前位置，蜘蛛和用户都是从上往下读。
- 数量确实大时，按字母或按时间拆成多页，别做成一堵链接墙。
链接数量怎么把握
没有统一标准。一条经验是页面体积别太大，单页链接总数控制在几百条以内，并保证每条链接都指向真实存在的页面。如果梳理下来有几千条 URL，说明该考虑分片，而不是硬塞。
放在哪里，怎么链过去
最常见的做法是挂在页脚，全站可见，这样每个页面都能顺带给站点地图页一个入口。站点结构复杂的话，也可以在主导航或「关于」类目下给它一个位置。页面本身不要加 noindex，也不要用 JS 动态生成列表，否则等于把入口又藏回去了。
容易踩的几个坑
- 全是 nofollow：页面上所有链接都加了 nofollow，等于白做。
- 只放首页和栏目页：那它和导航重复，对深层 URL 没什么帮助。
- 从不更新：新页面几个月都不进列表，这条通路也就慢慢断了。
- 和 XML Sitemap 混为一谈：两个都做，各自服务不同场景，不用二选一。
和面包屑、内链配合使用
站点地图页只是入口的补充。真正决定抓取路径顺不顺畅的，还是栏目页、列表页、面包屑和正文内链组成的网络。可以把站点地图页理解成一张总目录：它把深层 URL 拉到浅层，剩下的路还是要靠正常的站内链接接上。做完之后，隔一段时间看看蜘蛛有没有来抓这一页、抓完之后有没有顺着里面的链接继续走，比单纯提交一个文件更有参考价值。
站点地图页的价值不在于「多一个页面」，而在于它把站内最短路径这件事变得可见：哪些 URL 要绕很多层才能到，一眼就能看出来。