站点地图(sitemap)本质上是给搜尋引擎的一份地址清單。它不能保證頁面被收錄,但能减少蜘蛛“找不到入口”的情况。很多站点的問题不是没有 sitemap,而是里面塞了不该塞的東西,或者早就過期失效。下面按自查顺序梳理一遍。
先確認你要的是哪種地图
常见的 sitemap 分几種,用途不同,別混着理解:
- 普通 XML sitemap:列出頁面地址,最常用。
- sitemap 索引文件:地址較多时用一個索引指向多個子地图,單個文件建议控制在 5 萬條、未压缩 50MB 以内。
- 新闻、图片、视频专用地图:有對應内容類型再考虑,没有就別硬加。
- HTML 站点地图頁:给用戶看的導航頁,對蜘蛛也有辅助作用,但不能替代 XML 文件。
自查清單:從地址本身開始
1. 文件能不能正常打開
直接在浏览器里訪問 sitemap 地址,確認返回 200、内容類型是 XML,不是被 CDN 缓存成舊版本,也没有被 robots.txt 誤封。如果 robots.txt 里 Disallow 了整個目錄,sitemap 放在里面同样會被挡住。
2. 里面装的必须是真實可訪問的頁面
把地图里的地址抽样点開,重点检查:是否 301 跳到別的地址、是否 404、是否 canonical 指向了另一個頁面。如果頁面本身已经用 canonical 声明了主地址,sitemap 里就應该寫那個主地址,而不是把被合並的版本也列一遍。
另外要核對大小寫、尾斜杠、參數顺序是否與站内實际連結一致。同一頁出現两個寫法,等于给蜘蛛多送了一個待確認的地址。
3. lastmod 別随手寫
lastmod 只在内容确實發生變化时更新。每次發布都全量刷新時間戳,短期看着“活跃”,時間一長蜘蛛會發現時間與内容對不上,參考價值自然下降。真正改過内容的頁面再更新,才是有意义的信号。
4. 別把不该出現的地址放進去
- 登入、购物车、用戶中心等需要狀態才能打開的頁面;
- 篩選、排序、分頁组合出来的參數地址;
- 測試环境、备份目錄、临时生成的頁面;
- 已屏蔽或已下线的栏目。
這些地址放進去,只會让抓取预算耗在低價值頁面上。
提交之後要做的两件事
- 在搜尋资源平台提交並观察:看已提交量與已發現量的差距,差距長期過大,通常說明部分地址不可訪問或文件格式有問题。
- 定期比對:把 sitemap 地址列表和站点實际發布的頁面清單對一遍,找出“已發布但没進地图”和“地图里有但已下线”两類偏差。
把 sitemap 当成一份需要维護的文档,而不是生成一次就忘掉的产物。它最大的價值是准确,不是數量多。
维護节奏怎么定
更新频繁的站点,可以让程序在發布时自動追加;更新較慢的站点,每周或每两周重新生成一次即可。無论哪種方式,都要保證生成逻辑和站点结构同步——栏目調整、改版迁移之後,第一件事就是重新生成 sitemap,否則蜘蛛拿到的還是舊地图。
最後提醒一句:sitemap 只是辅助發現的工具,頁面能不能被收錄、出現在什么位置,最终還是由内容质量、站点结构和整体狀態决定。把地图做准,只是先把這個环节的干扰項排除掉。