網站收錄

sitemap 提交後收錄没變化:该放哪些 URL、怎么核對有没有被用上

sitemap 经常被当成收錄開關,但它的實际定位是帮搜尋引擎更快發現 URL。本文說明哪些頁面该放、哪些 URL 不该放,單個文件的數量上限和 lastmod 的寫法要注意什么,以及如何通過抓取日誌和後台报告核對 sitemap 是否真的被用上,最後给出一個可执行的检查顺序。

網站收錄

sitemap 提交後收錄没變化:该放哪些 URL、怎么核對有没有被用上

很多站点把 sitemap 当成收錄開關:文件生成、提交、等结果。它的實际定位更接近一份「推荐清單」,作用是帮搜尋引擎更快發現 URL,至于抓不抓、收不收,仍取决于頁面本身和站点整体质量。

sitemap 只解决「發現」這一环

搜尋引擎發現 URL 的主要途径仍是站内連結。sitemap 的價值在于补上連結覆盖不到的部分:新發布的頁面、层級很深的頁面、内鏈較少但确實有價值的頁面。它不會让低质量頁面被收錄,也不會绕過 noindex 或 robots.txt 的限制。

所以「sitemap 里的 URL 數和索引數對不上」是常態。两者本就不是同一口径:前者是你声明的候選集合,後者是搜尋平台判断後的结果。

哪些 URL 该放進去

  • 返回 200,内容對用戶有實际價值
  • 頁面自身可索引,没有 noindex,也没被 robots.txt 屏蔽
  • canonical 指向自己,或明确指向另一個規范版本(此时放規范版本即可)
  • 主要靠 JS 渲染的頁面,服務端最好能返回基础内容

反過来,這些不适合放:重定向地址、404 或 410 頁面、被 noindex 的頁面、篩選和排序參數组合出的临时 URL、纯占位或空壳頁。把明顯不该收錄的 URL 塞進去,除了浪費抓取配額,也會让整份文件的資料變得不可信。

格式和規模上的几個坑

  • 單個 sitemap 有 5 萬條 URL、50MB 未压缩的上限,超過就用 sitemap index 分片
  • 地址要用绝對 URL,參數和特殊字符按規范编碼
  • lastmod 要反映真實修改時間,不要每次生成都刷成当天
  • 有多個 sitemap 时,確認 index 文件里都列全,且每個子文件能正常訪問

怎么判断 sitemap 有没有被用上

最直接的方法是看抓取日誌。一是 sitemap 文件本身有没有被定期抓取;二是其中那些主要靠 sitemap 暴露的 URL,之後有没有出現抓取记錄。如果文件很久没被訪問,先检查是否被 robots.txt 誤屏蔽、文件是否可訪問、提交位置是否正确。

搜尋平台後台的 sitemap 报告會给已發現 URL 數和格式错誤提示,可以對照着修,但报告里的數字不直接等于收錄量,把它当成「提交是否成功」的检查項更合适。

它替代不了内鏈

一個只在 sitemap 里出現、站内没有任何入口的頁面,即使被發現,抓取優先級通常也很低。正常做法是:先保證重要頁面能從導航、列表頁或正文連結点到,再用 sitemap 补漏。两者是叠加關系,不是替代關系。

一個可执行的核對顺序

  1. 確認 sitemap 文件可訪問、格式無誤,並已在後台提交
  2. 核對 robots.txt 没有屏蔽 sitemap 及其中的 URL
  3. 用抓取日誌確認文件被訪問,並观察其中 URL 是否被逐步抓取
  4. 對長期只出現在 sitemap、始终没被抓取的頁面,回头补内鏈或评估内容價值
  5. 定期清理已失效、已改版重定向、已 noindex 的舊條目

sitemap 是基础设施,不是加速按钮。把它维護干净、和站内連結配合好,URL 發現會顺一些;指望靠它單獨解决收錄問题,往往會失望。