站点运营

站点运营:Sitemap 自查與维護,给蜘蛛一張准确的地图

站点地图是给搜尋引擎的一份地址清單,准确比數量更重要。本文從文件可訪問性、地址有效性、lastmod 寫法、收錄范围到提交後的定期比對,梳理一份可落地的自查清單,帮站点把這份地图维持在可用狀態。

站点运营

站点运营:Sitemap 自查與维護,给蜘蛛一張准确的地图

站点地图(sitemap)本质上是给搜尋引擎的一份地址清單。它不能保證頁面被收錄,但能减少蜘蛛“找不到入口”的情况。很多站点的問题不是没有 sitemap,而是里面塞了不该塞的東西,或者早就過期失效。下面按自查顺序梳理一遍。

先確認你要的是哪種地图

常见的 sitemap 分几種,用途不同,別混着理解:

  • 普通 XML sitemap:列出頁面地址,最常用。
  • sitemap 索引文件:地址較多时用一個索引指向多個子地图,單個文件建议控制在 5 萬條、未压缩 50MB 以内。
  • 新闻、图片、视频专用地图:有對應内容類型再考虑,没有就別硬加。
  • HTML 站点地图頁:给用戶看的導航頁,對蜘蛛也有辅助作用,但不能替代 XML 文件。

自查清單:從地址本身開始

1. 文件能不能正常打開

直接在浏览器里訪問 sitemap 地址,確認返回 200、内容類型是 XML,不是被 CDN 缓存成舊版本,也没有被 robots.txt 誤封。如果 robots.txt 里 Disallow 了整個目錄,sitemap 放在里面同样會被挡住。

2. 里面装的必须是真實可訪問的頁面

把地图里的地址抽样点開,重点检查:是否 301 跳到別的地址、是否 404、是否 canonical 指向了另一個頁面。如果頁面本身已经用 canonical 声明了主地址,sitemap 里就應该寫那個主地址,而不是把被合並的版本也列一遍。

另外要核對大小寫、尾斜杠、參數顺序是否與站内實际連結一致。同一頁出現两個寫法,等于给蜘蛛多送了一個待確認的地址。

3. lastmod 別随手寫

lastmod 只在内容确實發生變化时更新。每次發布都全量刷新時間戳,短期看着“活跃”,時間一長蜘蛛會發現時間與内容對不上,參考價值自然下降。真正改過内容的頁面再更新,才是有意义的信号。

4. 別把不该出現的地址放進去

  • 登入、购物车、用戶中心等需要狀態才能打開的頁面;
  • 篩選、排序、分頁组合出来的參數地址;
  • 測試环境、备份目錄、临时生成的頁面;
  • 已屏蔽或已下线的栏目。

這些地址放進去,只會让抓取预算耗在低價值頁面上。

提交之後要做的两件事

  1. 在搜尋资源平台提交並观察:看已提交量與已發現量的差距,差距長期過大,通常說明部分地址不可訪問或文件格式有問题。
  2. 定期比對:把 sitemap 地址列表和站点實际發布的頁面清單對一遍,找出“已發布但没進地图”和“地图里有但已下线”两類偏差。
把 sitemap 当成一份需要维護的文档,而不是生成一次就忘掉的产物。它最大的價值是准确,不是數量多。

维護节奏怎么定

更新频繁的站点,可以让程序在發布时自動追加;更新較慢的站点,每周或每两周重新生成一次即可。無论哪種方式,都要保證生成逻辑和站点结构同步——栏目調整、改版迁移之後,第一件事就是重新生成 sitemap,否則蜘蛛拿到的還是舊地图。

最後提醒一句:sitemap 只是辅助發現的工具,頁面能不能被收錄、出現在什么位置,最终還是由内容质量、站点结构和整体狀態决定。把地图做准,只是先把這個环节的干扰項排除掉。