说到 Sitemap，多數人先想到 XML 文件。但在頁面上给用戶和蜘蛛准备一份 HTML 站点地图，仍然是不少站点在用的补充手段。它的作用不在于“提交”，而在于把散落在各處的入口收拢到一頁里，让蜘蛛在抓取路径上少绕几步。
HTML 站点地图頁與 XML Sitemap 的分工
XML Sitemap 更像一份给抓取程序看的清單，适合批量列出 URL，並附带時間信号。HTML 站点地图頁則是一個真實頁面，蜘蛛要靠導航或内鏈發現它，再顺着頁面上的連結繼續走。两者並不冲突：XML 负责广度和批量提示，HTML 頁面负责给出一條清晰的、可点击的路径。当站点目錄层級較深，或者某些栏目入口在導航里藏得比較靠後时，一頁结构清楚的 HTML 站点地图可以作為一個額外的匯總入口。
它怎么影响 URL 發現
蜘蛛在站内移動主要靠連結。如果某個分類頁只在第三层導航里出現，而首頁只鏈到几個主栏目，蜘蛛可能需要经過多次跳轉才能到達。HTML 站点地图頁把主要栏目的連結集中在一起，相当于在抓取路径上開了一條捷径。不過要注意，它只是多一條路径，並不會因此让蜘蛛一定去抓某個 URL。真正影响抓取與否的，還是頁面本身的质量、更新情况和服務器的响應表現。
适合放進去的連結
- 主要栏目頁和分類頁
- 更新較频繁的专题頁或聚合頁
- 重要的静態頁，比如關于我們、联系方式
- 内容較多的文章列表入口，视情况按分頁展開
不建议放進去的連結
- 大量带參數的篩選頁、排序頁
- 已经 404 或長期不更新的頁面
- 重复内容的不同 URL 版本
- 成千上萬條詳情頁的完整罗列，那更适合交给 XML Sitemap
頁面本身要满足的几個條件
- 連結是普通的 a 标簽，能被爬虫直接讀取
- 連結文字有實际含义，不要只寫“点击這里”
- 頁面能正常返回 200，加载速度不要拖後腿
- 在頁脚或主導航里留一個固定入口，方便蜘蛛反复找到
- 随栏目調整及时更新，避免出現死鏈
HTML 站点地图頁的價值在于“收拢入口”，不是“加快收錄”。把它当成一個给用戶和蜘蛛都方便的總目錄，比当成收錄工具更實际。
一個常见的誤区
有人為了覆盖更多 URL，把 HTML 站点地图頁做成几千條連結的列表，结果頁面体积很大，加载慢，蜘蛛也不會一次走完。更實际的做法是只放主要入口，把詳情頁交给列表頁分頁和 XML Sitemap。連結數量控制在合理范围，让這一頁保持可讀、可维護，更新时也不會因為牵一發動全身而出错。
對中小站点来说，HTML 站点地图頁的维護成本不高，却能补上導航结构中的一些缺口。配合正常的栏目内鏈和一份干净的 XML Sitemap，蜘蛛在站内的抓取路径會更清楚，站点运营也更容易排查哪些入口没有走通。