先把 sitemap 的角色摆正

搭建蜘蛛池时，不少人會把 sitemap 当成一個萬能的提交入口，觉得把 URL 寫進文件就等于通知了搜尋引擎。實际它只做一件事：提供一份 URL 候選清單。抓不抓、抓几次、抓完是否保留，仍然由對方决定。想清楚這一点，後面所有取舍都會變得简單。

也就是说，sitemap 解决的是發現，不解决信任和质量。入口頁如果本身打不開、内容單薄、和目标站毫無關联，文件寫得再規范也不會改變结果。

什么情况下值得给入口頁配 sitemap

• 入口頁數量較多，散落在不同目錄层級，靠首頁或列表頁不容易爬到；
• 入口頁由程序動態生成，URL 規則统一，但站内缺少清晰的導航路径；
• 你有稳定的更新节奏，需要让爬虫区隔出“這批是新的”；
• 入口頁與目标 URL 的對應關系需要長期维護，用一份文件统一管理比人工记帳省事。

反過来，如果入口頁只有几十條，站内已经有正常的列表頁和分頁導航，sitemap 的邊际作用很小。這时候把精力放在連結层級和頁面可訪問性上，回报更直接。

入口頁與目标 URL 分几层放

這是最容易被搞混的地方，常见有两種做法。

1. 只放入口頁。文件里全是蜘蛛池自己的入口頁，目标站 URL 靠頁面上的連結自然传出去。结构干净，责任邊界清楚。
2. 两類混放。把要推廣的目标 URL 也塞進同一份文件，等于把目标站的地图一並交出去。一旦某個批次被判定異常，牵连范围會明顯變大。

如果确實要在同一套资源里處理两類 URL，至少拆成不同的文件，分別观察日誌表現，不要混在一起做整体判断。

几個容易忽略的配置细节

• 域名與协议保持一致。文件里寫 http、實际頁面是 https，或者带 www 與不带 www 混用，都會让爬虫多花一轮校驗時間。
• lastmod 不要随手刷新。每次生成都寫成目前時間，等于告诉對方“所有頁面每天都在變”，很快就没人当回事了。
• 分片與索引要對應。超過單文件容量上限就拆分，並用索引文件串起来，各片路径規則保持统一。
• 別把文件藏起来。在 robots 里声明地址，或者放在站点根目錄，是成本最低的做法。
• 自身訪問要稳定。sitemap 经常 404 或超时，會直接拖累入口頁的抓取节奏。

常见誤区

把 sitemap 当成“提交量”，一口气塞進几十萬條 URL，是目前最普遍的誤操作。

• 以為提交就等于抓取，忽略了抓取量取决于對方的资源分配和頁面质量；
• 把 sitemap 当提速工具，短時間内大批量新增，反而容易被节流；
• 不去管文件本身能否稳定訪問，却一直在纠结頁面细节；
• 文件里長期保留已经失效的入口頁，從不清理。

落地建议

比較稳妥的顺序是：先把入口頁做成能正常訪問的頁面，确保站内有一條爬虫走得通的路径；確認日誌里能看到稳定訪問之後，再考虑用 sitemap 补充發現渠道。

节奏上建议分批增加，每批上线後观察两到三天的抓取情况，再决定下一批規模。數量增長和抓取反馈之間保持可對比的關系，出問题时才知道是哪一步引起的。

最後提醒一句，sitemap 是辅助手段，不是保證。真正影响入口頁表現的，仍然是頁面能否正常打開、内容是否说得通，以及整批资源的整体狀態。