站点地图（sitemap）是给搜尋引擎的一份 URL 清單。它不直接带来排名，但會影响蜘蛛能否及时知道新地址、發現更新過的舊地址。运营中常见的情况是：站点地图生成之後就再没人管，里面混着 404、重定向、noindex 頁面，甚至包含改版中已经下线的栏目。蜘蛛拿着這份清單跑一趟，有效收获很少，反而占用了抓取額度。
站点地图该放什么，不该放什么
判断标准很简單：這個 URL 是否是你希望出現在搜尋结果里的規范版本。
- 该放：正常的栏目頁、文章頁、产品頁等可索引的規范地址。
- 不该放：返回 404 或 410 的頁面、跳轉到別處的舊地址、带 noindex 的頁面、登入後才可见的頁面、纯篩選排序參數生成的地址。
- 谨慎放：标簽頁、聚合頁、分頁列表。數量少且内容有差异可以留；批量生成、内容高度重复的，先別塞進去。
四類高频問题
1. 清單與頁面狀態脱节
文章下线、栏目合並、URL 改名之後，如果站点地图仍按資料库全量輸出，就會持續把死鏈推给蜘蛛。建议生成时做一次狀態過滤，只輸出返回 200 且允许索引的地址。
2. 多語言、多终端的地址混在一起
移動端獨立域名、多語言子目錄如果没有用 hreflang 或等價關系說明清楚，蜘蛛容易把同一内容当成多個獨立頁面。站点地图里可以附加注释标记語言與對應關系，减少誤判。
3. 單個文件過大、层級過深
站点地图有數量和体积上限，超過後需要拆成索引文件加多個子文件。拆分顺序按栏目或更新時間排列，方便自己排查，也方便蜘蛛分批抓取。
4. 更新時間戳随手寫
lastmod 只在内容确實發生實质變化时更新。每次都寫成目前時間，會让這個字段失去參考價值。
自查清單
- 從服務器日誌或爬虫工具抽样驗證：清單里的 URL 返回狀態碼是否都是 200。
- 核對 robots.txt 是否誤封了站点地图文件本身或其中的目錄。
- 检查清單中的 URL 是否與頁面 canonical 指向的地址一致。
- 確認新發布内容能在生成周期内進入清單，而不是等下一轮全量重建。
- 观察蜘蛛對站点地图的抓取频率與頁面實际被抓情况，判断清單是否被有效利用。
更新机制比清單本身更重要
内容量小时，手動维護一份 XML 可行；更新频繁就容易失真。更稳妥的做法是让站点地图由發布流程自動触發：新内容上线即寫入，内容下线或改地址时同步移除或替換。搜尋引擎的抓取存在延迟，不要因為当天没看到抓取就反复改動清單。
站点地图的作用是减少蜘蛛“找路”的成本，而不是替代内鏈和導航。如果一份清單里的地址在站内根本点不到，先补連結，再谈提交。
最後提醒一点：站点地图不是必须項。内容量小、结构清晰、内鏈完整的站点，蜘蛛通常也能正常發現頁面。它的價值主要出現在新站、内容量大或更新频繁的场景。把它当成一份需要定期核對的运营台帳，比当成一次性的提交動作更實际。