站点還小的时候，一個 Sitemap 文件就能装下所有 URL。但当文章、商品或标簽頁累积到几萬、几十萬條时，繼續把所有地址塞進同一個文件，蜘蛛讀取和調度的效率都會下降。Sitemap 索引與分片，解决的就是“地址太多之後怎么让蜘蛛按顺序抓”的問题。

為什么需要 Sitemap 索引

Sitemap 协议本身對單個文件有体积和條數限制，超過之後蜘蛛可能只讀取一部分，甚至直接忽略。索引文件不直接放頁面 URL，而是指向多個子 Sitemap。這样蜘蛛可以先讀取索引，再按分片逐個抓取，站点也能按栏目、内容類型或更新時間拆開管理。

索引文件适合放在站点根目錄附近，並在 robots.txt 里声明。声明之後，蜘蛛會優先按索引结构去發現分片，而不是只依赖内鏈慢慢爬。

分片的基本規則

• 單個 Sitemap 文件建议控制在 5 萬條 URL 以内，未压缩体积不超過 50MB。
• 分片文件本身也要有稳定的 URL，不要频繁改名或換目錄。
• 索引文件只包含子 Sitemap 地址和可選更新時間，不要混入頁面 URL。
• 如果使用 gzip 压缩，保持同一分片的压缩格式稳定，避免蜘蛛反复解压失敗。

這些數字不是绝對红线，但越接近上限，蜘蛛處理單個文件的時間越長，出错概率也越高。留出余量比卡着上限更稳妥。

分片怎么组织更利于抓取

常见的分法有三種：按栏目、按内容類型、按更新時間。按栏目分片，适合频道结构清晰的站点；按内容類型分片，适合文章、商品、問答混排的站点；按更新時間分片，适合新闻或频繁更新的内容。

如果站点同时有重要頁面和長尾頁面，可以把重要栏目單獨分片，把低频内容放在另一组分片。蜘蛛在抓取预算有限时，更容易先走到重要分片。但不要為了“看起来重要”而把大量普通頁面塞進核心分片，否則分片本身會失去区分度。

與内鏈、robots 的配合

Sitemap 不是内鏈的替代品。蜘蛛仍然需要通過站内連結判断頁面之間的關系和權重。分片里的 URL 如果在内鏈中完全没有入口，蜘蛛抓取之後也可能不知道它属于哪個栏目，回訪频率會偏低。

robots.txt 中声明 Sitemap 索引地址即可，不要用 robots 規則去屏蔽分片文件本身。如果分片被屏蔽，蜘蛛可能连索引都讀不到完整内容。另外，分片里的 URL 應與 canonical、内鏈指向的地址保持一致，避免同一頁面在分片里出現多個版本。

常见错誤

• 索引文件里寫的是頁面 URL，而不是子 Sitemap 地址。
• 分片更新後，索引里的更新時間没有同步變化。
• 把已下线、重定向或參數重复的 URL 繼續留在分片里。
• 分片數量過多，每個文件只有几十條 URL，反而增加蜘蛛的調度负担。
• 只在提交时更新一次，之後長期不维護，導致分片内容與站点實际结构脱节。

分片的目标不是把地址藏起来，而是让蜘蛛用更少的請求、更清晰的顺序，找到目前最值得抓的頁面。

监控與調整

分片上线後，可以通過蜘蛛日誌观察几個信号：索引文件是否被频繁讀取，各分片的抓取量是否差异過大，分片里的 URL 是否出現大量 404 或 301。如果某個分片長期没有抓取，先检查它是否在索引中可達，再检查分片内容是否與站点更新节奏匹配。

站点结构變化时，分片也要跟着調整。栏目合並、URL 規則變更、内容大批量下线，都應在分片和索引中同步反映。保持分片有序，本质上是在给蜘蛛一條可预测的抓取路径，而不是一次性提交任務。