不少站点把 sitemap 当成推進收錄的開關：提交一份文件，等几天没動静，再提交一次，然後怀疑是不是格式寫错了。實际上 sitemap 只做一件事——把站点希望被發現的 URL 集中告诉爬虫，省去它們靠外鏈和站内連結慢慢摸索的過程。它不决定頁面能不能被抓取，更不决定頁面能不能進索引。清單本身的质量，才决定它是帮忙還是添乱。
先分清 sitemap 管什么、不管什么
sitemap 影响的是 URL 發現环节。一個頁面最终能不能出現在搜尋结果里，還要依次经過抓取、渲染、内容判断和索引几個步骤。如果頁面本身返回 404、被 robots.txt 拦住、带着 noindex 标簽，或者内容與站内其他頁面高度重复，那它出現在 sitemap 里只會让爬虫白跑一趟，浪費的就是站点本可以分配给有效頁面的抓取次數。
适合放進清單的 URL
- 返回 200 狀態碼、允许被索引的頁面，這是最基本的前提。
- canonical 指向自身的規范版本。如果某頁的 canonical 指向了別處，放進来没有意义。
- 新發布、近期有實质更新的内容，配合真實的時間戳，能让爬虫知道這里有變化。
- 站内入口較浅、通過正常点击路径不容易被發現的頁面，比如层級較深的产品詳情頁或老文章。
- 你希望優先被處理的少數重点 URL，數量不必多，但确實重要。
不建议放進去的 URL
- 被 noindex 标记的頁面。清單里说“請抓”，頁面上说“別编入索引”，两個信号互相打架。
- 會跳轉的地址。301、302 的目标頁更适合直接出現，跳轉連結放在清單里属于多绕一步。
- 已经返回 404 或 410 的舊 URL。頁面下线後，sitemap 也應该同步清理。
- 篩選、排序、追踪參數产生的變体。這類 URL 數量可以無限膨胀，把清單撑满却對應不到獨立内容。
- canonical 指向其他頁面的副本頁，它們本来就不该作為獨立條目存在。
- 站内搜尋结果頁、用戶中心、购物车、打印頁等功能型頁面。
lastmod 別随便刷新
有些站点每次生成 sitemap 就把所有 URL 的 lastmod 更新成当天時間，以為這样能催一催。结果是這個字段很快失去可信度——爬虫發現每次来時間戳都變，但頁面内容一模一样，之後就只按普通节奏處理，不再優先看它。真實的時間戳只需要在内容确實改動时更新，比如正文增删、價格調整、信息纠正。模板层面的样式變化，通常不必算作内容更新。
文件本身的几個细节
- 單個 sitemap 文件最多 5 萬條 URL，未压缩体积不超過 50MB，超了就拆分成多個並用索引文件串联。
- 里面的地址寫成完整绝對路径，带协议和域名，不要用相對路径。
- URL 中的特殊字符要正确编碼，避免因编碼不一致導致同一頁面出現两個版本。
- 文件可以被 gzip 压缩，這對大站点能明顯减少传輸開销。
- 在 robots.txt 里声明 sitemap 位置，或者通過搜尋资源平台後台提交，两者並不冲突。
提交之後會發生什么
提交成功只代表文件被讀取，不代表清單里的 URL 會被立刻抓取，更不代表會進入索引。合理的观察窗口是一到两周，期間可以看资源平台里的抓取統計，確認爬虫是否真的訪問了這些地址。如果几天内毫無抓取记錄，問题多半出在 URL 本身或者文件获取上，而不是提交次數不够。反复重提交同一份清單，除了增加後台记錄，一般不會改變什么。
一份可执行的自查顺序
- 從清單里随机抽几條 URL，用工具確認返回 200、没有 noindex、canonical 自指。
- 检查 robots.txt 是否誤挡了這些路径，尤其注意新加的規則。
- 確認 sitemap 文件能被正常訪問，返回 200 且内容類型正确，没有因權限或缓存問题變成空文件。
- 查看服務器日誌，看爬虫最近是否来過、频率如何、抓取的是不是清單里的地址。
- 對确實重要但没有抓取记錄的頁面，回头检查站内入口是否太深，能不能從首頁几步内点到。
sitemap 的價值在于让爬虫少走弯路，而不是让頁面自動進入索引。把它当成一張地图，而不是一個按钮。
最後提醒一句：清單需要维護。頁面下线、改版、合並之後，sitemap 應该跟着變，而不是一直保留歷史版本。一個干净、與站点目前狀態相符的清單，比一份内容庞大却一半失效的文件有用得多。