XML Sitemap 是给程序讀的清單，HTML 站点地图頁則是给人看的目錄。不少站点把它当成歷史遗留功能，要么删掉，要么只在頁脚挂一個連結吃灰。但從抓取路径的角度看，它是一條額外的、稳定的入口通道：新頁面、深层頁面，以及一时没被内鏈带到的頁面，都可以從這里被蜘蛛重新發現一次。
它在抓取鏈條里的位置
蜘蛛發現 URL 的途径通常有几類：外鏈、内鏈、XML Sitemap、歷史抓取记錄。HTML 站点地图頁做的事，是把站内連結用集中、扁平的方式再摆一遍。它的價值不在于“多提交一次”，而在于缩短路径——一個平时只有零散入口、藏在第四层的頁面，在這里可能两次点击就能到達。
對抓取预算有限的站点，扁平入口意味着蜘蛛不用先翻完列表頁翻頁、再穿過一堆篩選參數，才能碰到目标 URL。
一個能真正起作用的頁面長什么样
位置與层級
- 放在固定路径，例如 /sitemap/ 或 /map/，不要随栏目改版一起消失；
- 從首頁頁脚、主導航底部稳定鏈過去，保證它自己不是孤儿頁；
- 頁面要能被正常抓取，別用 JS 渲染後再插入連結，也別加登入、彈窗或遮罩拦截。
结构與連結量
- 按栏目分组，每组给出该栏目主要頁面和近期更新的内容；
- 連結文本寫清楚頁面主题，不要清一色的“点击查看”；
- 單頁連結數控制在几百條以内更好维護，量級大的可以拆成多個頁面並互相連結；
- 不要把友鏈、广告、站外跳轉混進来，那會让這條通道的信号變浑浊。
和 XML Sitemap 怎么分工
XML 文件擅長交底：把 URL 清單、更新時間批量告诉蜘蛛，适合结构化、可校驗。HTML 頁面擅長铺路：它是站内真實存在的一個节点，可以被内鏈權重影响，也可以承载分類和描述。两者不冲突，理想狀態是清單一致、内容互补——XML 里有的 URL，頁面上也能找到對應入口；頁面上出現的連結，也都指向真實可訪問的地址。
常见的做法错誤是两套清單長期不同步：XML 更新了，HTML 頁面還是半年前的样子，蜘蛛從頁面点進去一堆 404 或已下线栏目，反而消耗抓取。
怎么判断它有没有起作用
看服務器日誌或搜尋後台的抓取統計，重点观察三件事：
- 這個頁面本身的抓取频率是否稳定，有没有被長期忽略；
- 從它出發的二級、三級頁面，抓取量有没有變化；
- 新發内容的首次被抓時間，是否比之前更快。
如果頁面抓取正常，但從它点出去的深层頁面依舊没有抓取记錄，問题往往不在這個頁面，而在目标頁面本身——比如返回異常、内容過薄、被 robots 規則挡住。
它不是收錄保證书，只是把路修平一点。蜘蛛走不走、什么时候走，仍由它自己决定。
落地时的几條检查
- 頁面有稳定入口，且入口連結可被抓取；
- 連結指向的 URL 全部是 200，没有重定向鏈和已下线栏目；
- XML Sitemap 與頁面清單定期對齐；
- 改版、迁移时把它列進清單，別顺手删掉。
把它当成站内一條長期维護的通道，而不是上线时做一次的门面工程，作用才會慢慢顯出来。