搜尋蜘蛛從站点發現新URL，通常靠内鏈、外鏈、sitemap等途径。其中，sitemap（站点地图）是一種主動推送的机制，但它常常被低估，或者被用错方向。本文不谈玄学，只讲實际运营中，如何让sitemap在URL發現环节發挥该有的作用。
sitemap不是提交按钮，而是信息清單
很多人把sitemap当作提交工具，以為提交一次就萬事大吉。實际上，sitemap更像一份清單，告诉搜尋蜘蛛：你的站点有哪些重要URL，它們大概多久更新一次，優先級如何。蜘蛛會根據這份清單去安排抓取計划，但清單本身並不會让頁面获得更高權重。
主動提供路径，减少漏抓
站点内部、外部連結都可能断了，或者有些新頁面還没被鏈到任意位置。這时sitemap就成為一條备用路径，尤其适合那些在结构上較深、但内容有價值的頁面。把這類URL寫進sitemap，等于给蜘蛛递上一張導航卡。
更新频率與優先級的合理标注
sitemap协议里可以标注每個URL的lastmod（最後修改時間）、changefreq（更新频率）和priority（優先級）。但請记住，這些只是建议，蜘蛛仍會以自己的判断為准。實际运营中，最有用的是lastmod，它可以帮助蜘蛛识別内容變化，從而决定是否重新抓取。因此，当頁面有實质更新时，務必同步更新lastmod，而不是草草改個時間。
让sitemap保持新鲜和准确
一份過期的sitemap比没有更糟糕，因為它會誤導蜘蛛去訪問已经刪除或變成错誤頁的URL，浪費资源。
内容更新後及时刷新sitemap
建议站点在發布新文章、修改重要頁面，或刪除舊頁面後，自動或手動更新sitemap。如果站点内容频繁變動，可以生成動態sitemap；如果内容稳定，静態sitemap定时更新也可以。
保證sitemap中的URL規范一致
- 使用同一域名（不要混用www和非www）
- 统一协议（http或https，确保與站点實际一致）
- 避免带上追踪參數、session ID等無效内容
- 如果做過多語言或多地区，使用hreflang标注
這些细节看似琐碎，但能减少蜘蛛在URL規范化上的開销，让它更快识別你真正想暴露的頁面。
sitemap與robots.txt的配合
robots.txt可以指向sitemap文件的位置，這是一個约定俗成的做法。但注意，robots.txt禁止的URL，不應出現在sitemap中。两者出現冲突，會让蜘蛛困惑，並可能影响其他URL的發現。建议在robots.txt中允许蜘蛛訪問sitemap，同时确保sitemap里的URL都是允许被抓取的。
常见sitemap誤区
- 提交所有頁面：把後台地址、登入頁、重复篩選頁也放進sitemap，反而稀释了重点URL的價值。
- 更新频率夸張：明明一個月改一次，却标记為“always”，時間長了蜘蛛會不太信任你的标注。
- 忽略移動版：如果站点有移動适配，sitemap中應包含對應的移動URL或标注relation link。
- sitemap体积過大：超過协议限制或分割不当，可能導致解析失敗。
把sitemap放到运营流程里
site运营者可以把sitemap当作站点的“内容清單”来维護。每当栏目調整、頁面迁移、内容下线时，同步梳理sitemap。在網站改版期間，sitemap的更新尤為重要，它能帮助蜘蛛及时認识新的URL结构。
sitemap不是萬能的，但它是一個值得長期维護的运营细节。與其他URL發現通道（内鏈、面包屑、site结构）配合，才能让蜘蛛更高效地抓取你的站点。
记住，sitemap不能保證收錄和排名，它的目标只是把URL的“發現”环节做得更顺滑。运营者真正该做的，是让内容、结构和sitemap三者的信息保持一致。這样，url發現會更有章法，站点运营也就更有把握。