Sitemap 常被当成一個“提交完就不管”的文件，但它其實是站点主動整理 URL 的一份清單。搜尋蜘蛛的發現路径有很多條——内鏈、外鏈、跳轉、推送——sitemap 只是其中一條补充通道。它的價值不在于“提交了就收錄”，而在于把那些靠内鏈不容易被走到的頁面，用相對清晰的方式列出来。
為什么站点規模上来後要拆分 Sitemap
很多站点在早期只放一個 sitemap.xml，内容多了以後還沿用同一個文件。结果是單文件体积過大、生成時間變長，蜘蛛每次来拉取都要下载一份很長的列表，里面還混着大量已经失效或重复的地址。拆分的意义不是迎合某個數量门槛，而是让维護和抓取都更可控。
Sitemap Index 與分片组织
- 按内容類型或栏目拆分，比如文章、商品、专题各一個文件，便于單獨排查問题。
- 單個 sitemap 文件里的 URL 數量控制在合理范围，常见上限是 5 萬條、未压缩 50MB，接近上限前就應该考虑再拆。
- 用一個 sitemap index 文件把這些子文件聚合起来，只把 index 地址寫進 robots.txt 或提交给搜尋平台。
- 分片命名保持稳定，不要每次生成都換一批随机文件名，否則舊地址會残留。
lastmod 怎么维護才不添乱
lastmod 是给蜘蛛判断頁面是否需要重新抓取的參考，不是装饰字段。比較稳妥的做法是：只有当頁面正文、标题、结构化資料等主体内容發生實质變化时才更新這個時間，模板調整、广告位轮換、评论增加這類變化可以不動它。如果每次生成 sitemap 都把所有條目的 lastmod 刷成目前時間，蜘蛛很快會對這個信号失去信任。
另外，生成方式也要注意。小站可以定时任務跑全量；大站更适合增量生成或者按分片更新，避免每次請求都實时拼一份完整列表，既拖慢响應，也容易因為超时返回不完整的内容。
哪些 URL 不该塞進 Sitemap
- 被 robots.txt 禁止抓取的地址，寫進去只會制造矛盾。
- 带排序、篩選、會话參數的動態地址，容易产生大量近似重复的條目。
- 分頁的每一頁不必全部提交，除非确實希望它們被單獨發現。
- 已经 404、410 或者已经設定跳轉的舊地址。
- 需要登入才能訪問的頁面，蜘蛛拿到也看不到有效内容。
日常检查清單
- 用浏览器或命令行請求 sitemap 地址，確認返回 200 且内容是 XML，而不是错誤頁或驗證頁面。
- 检查 sitemap index 里列出的子文件是否都能正常訪問，有没有拼寫错誤或遗漏。
- 抽查若干條目，確認頁面狀態碼正常、canonical 指向自身、没有被 robots 拦截。
- 對比服務器日誌里蜘蛛對 sitemap 的抓取记錄，看它是否在按预期频率拉取。
- 内容下线後，及时從 sitemap 中移除對應地址，不要只依赖頁面返回 404。
把 sitemap 当作一份需要定期维護的清單，而不是一次性的提交任務，它對 URL 發現的帮助會更稳定。
最後提醒一点：sitemap 不能替代内鏈和導航。如果站内本身没有合理的連結结构，只靠一個文件罗列地址，蜘蛛依然很难理解頁面之間的關系和權重分布。把 sitemap 当作补充线索，把内鏈当作主干，两者配合才更實际。