很多站点在生成 XML Sitemap 之後，就把它当成一項已经完成的任務：提交到搜尋资源平台，然後等待蜘蛛按图索骥。實际情况是，Sitemap 只是给蜘蛛提供了一份候選清單，它並不能保證每個 URL 都會被及时抓取，也不承诺收錄。蜘蛛會结合站点内鏈、歷史抓取记錄、服務器响應状况等因素，决定什么时候来看、看多少。
Sitemap 能做什么，不能做什么
XML Sitemap 的主要價值是帮助蜘蛛發現那些内鏈較少、层級較深或新产生的 URL。它像一張补充地图，而不是抓取指令。對于已经在站内導航、列表頁和正文連結中频繁出現的 URL，Sitemap 的邊际作用通常有限；而對于孤立頁面、分頁較深的商品或文章，Sitemap 可以降低被漏掉的可能性。
需要注意，Sitemap 中的 URL 數量多，不代表抓取量會等比例增加。蜘蛛仍然會评估站点整体质量、更新频率和服務器承载能力。如果 Sitemap 里塞了大量低质、重复或參數化 URL，反而可能让蜘蛛對這份文件的信任度下降。
分片與索引文件：让 Sitemap 保持可讀
單個 Sitemap 文件有大小和 URL 數量上限。当站点 URL 達到數萬甚至更多时，通常需要拆分成多個分片文件，再用一個索引文件（sitemap index）把它們组织起来。這样做不只是為了符合协议限制，也能让蜘蛛分批讀取，减少單次請求的压力。
分片时建议按内容類型或目錄划分，例如文章、商品、专题、标簽頁各自成片。這样蜘蛛在讀取某個分片时，能更清楚地知道這批 URL 属于哪類内容。索引文件里只放分片地址，不要再混入具体頁面 URL，保持结构清晰。
lastmod 怎么寫才不容易被忽略
lastmod 表示頁面最後修改時間。如果寫得不准确，比如每次生成 Sitemap 都统一刷新成目前時間，蜘蛛多次比對後可能會降低對這個字段的參考程度。比較稳妥的做法是：只在頁面内容确實發生實质變化时更新 lastmod，格式使用标准的日期或日期時間。
對于聚合頁、列表頁這類内容频繁變動的頁面，lastmod 可以随新内容加入而更新；對于長期不變的静態頁，則没有必要反复改動。蜘蛛會把 lastmod 当作一個參考信号，但它不會僅凭這個字段就立刻重新抓取。
Sitemap 要配合内鏈和服務器稳定性
Sitemap 提供的 URL，最终仍要经過抓取排队、DNS 解析、服務器响應等环节。如果站点经常出現超时或 5xx，蜘蛛即使從 Sitemap 里拿到了 URL，也可能推迟或减少抓取。保持服務器稳定、响應時間可控，是让 Sitemap 發挥作用的底层條件。
同时，不要用 Sitemap 替代站内連結。蜘蛛在抓取一個頁面时，會顺着頁面上的連結繼續發現新 URL。如果 Sitemap 里有大量頁面在站内没有任何入口，這些頁面即使被蜘蛛看到，也缺少上下文和權重传递，抓取優先級通常不會太高。把重要頁面放進合理的栏目和列表頁，再让 Sitemap 做补充，效果會更稳。
几個常见誤区
- 把所有 URL 都塞進一個文件：超過协议限制後，蜘蛛可能只讀取到一部分，分片和索引文件更利于维護。
- 频繁提交新 Sitemap 就期待立刻抓取：提交只是通知，抓取安排由蜘蛛根據整体情况决定。
- 忽略 robots.txt 中的 Sitemap 声明：在 robots.txt 里寫明 Sitemap 地址，可以帮助蜘蛛更快找到這份文件。
- 让 Sitemap 包含重定向或 404 地址：這會浪費抓取机會，也容易让蜘蛛對文件质量产生负面判断。
把 Sitemap 看成一份持續维護的路线說明，而不是一次性的提交任務。分片清晰、lastmod 准确、與内鏈和稳定服務器配合，才更有可能让蜘蛛按图回訪。
最後，定期检查 Sitemap 的抓取情况：在搜尋资源平台或服務器日誌中观察蜘蛛對 Sitemap 文件的訪問频率、讀取到的分片數量，以及從 Sitemap 進入的 URL 後續是否被正常抓取。根據這些反馈調整分片策略和更新节奏，比盲目增加 URL 數量更有意义。