蜘蛛池里的入口頁往往是一批一批铺出去的，如果不给蜘蛛一條明确的路径，它可能只在几個已知頁面之間打轉，或者干脆從別處绕進来。sitemap 和 RSS 是两種常被用来“递地图”的方式，但它們在入口頁场景里的分工並不一样，用错了反而會增加蜘蛛的负担。
sitemap 在蜘蛛池里扮演什么角色
sitemap 本质上是一份 URL 清單，告诉蜘蛛“這些地址存在，你可以来看看”。它不保證收錄，也不保證排名，但能减少蜘蛛在站内盲目發現 URL 的成本。對蜘蛛池来说，入口頁數量多、彼此關联弱，sitemap 可以让蜘蛛更快知道有哪些入口頁需要處理。
需要注意的是，sitemap 只负责“告知”，不负责“说服”。入口頁本身返回什么狀態、内容是否可讀、是否被 robots 拦住，這些才是蜘蛛决定要不要繼續看的前提。
入口頁的 sitemap 该放哪些 URL
- 只放能正常返回 200 的入口頁，別把 301、302 或软 404 的地址寫進去。
- 每個 URL 保持唯一，不要同一個頁面用带參數、带斜杠、带大小寫的多個版本重复出現。
- 不要把 noindex 頁面放進 sitemap，两邊信号打架，蜘蛛會浪費抓取预算。
- 如果入口頁數量很大，可以拆成多個 sitemap，再用 sitemap 索引文件串起来。
- 列表里尽量只保留入口頁本身，不要把跳轉中間頁、統計頁、空列表頁也塞進去。
RSS 與 sitemap 的分工
RSS 更像一條更新流，适合告诉蜘蛛“最近新增或改動了哪些入口頁”。如果你的入口頁是持續新增的，RSS 可以让蜘蛛按节奏来取，而不是每次都全量翻一遍 sitemap。sitemap 适合做全量清單，RSS 适合做增量提示，两者可以同时用，但不要互相替代。
如果入口頁長期不更新，RSS 里一直輸出同样的几條，蜘蛛慢慢就不會把它当回事。反過来，如果入口頁更新很频繁，但 sitemap 從来不改，蜘蛛也可能一直按舊清單来抓。
怎么提交和声明
- 在 robots.txt 里寫明 Sitemap 地址，通常放在文件末尾，一行一個。
- 把 sitemap 提交到對應的站長平台，方便观察抓取和索引情况。
- sitemap 文件本身要能正常訪問，返回 200，Content-Type 正确，別被防火墙或登入驗證拦住。
- 文件較大时可以 gzip 压缩，但不要用奇怪的扩展名让蜘蛛识別不了。
- RSS 地址也可以放在頁面头部或 robots 里声明，但不要指望所有蜘蛛都會讀 RSS。
常见誤区
- 以為提交 sitemap 就會收錄。 sitemap 只是线索，蜘蛛還要看頁面质量、狀態碼和站点整体情况。
- 把 sitemap 当成垃圾 URL 的收纳箱。 放進去的地址越杂，蜘蛛越难判断哪些入口頁值得抓。
- 频繁改動 sitemap 的 lastmod。 每次微調都改時間，蜘蛛可能會反复回抓，反而浪費预算。
- 入口頁已经下线，sitemap 里還留着。 蜘蛛反复撞 404，對站点印象没有好處。
- 只提交 sitemap，不检查入口頁可訪問性。 地图画得再好，路是断的也没用。
使用建议
- 先把入口頁的可訪問性、狀態碼、robots 規則理顺，再考虑 sitemap 和 RSS。
- sitemap 分批提交，观察日誌里蜘蛛的抓取频率，再决定要不要扩大數量。
- 入口頁新增或下线时，同步更新 sitemap；不要等积累了几百條再一次性改。
- RSS 輸出最近更新的入口頁即可，不必把全部歷史頁面重复塞進去。
- 把 sitemap 和 RSS 当作辅助發現工具，入口頁本身的内容和结构才是根本。
sitemap 是路标，不是推土机。它能帮蜘蛛少走弯路，但没法替入口頁完成该有的可訪問性和内容表達。
總结一下：蜘蛛池入口頁的 URL 發現，sitemap 适合做全量清單，RSS 适合做增量提示，提交和声明要規范，但不要把它們当成收錄保證。先把入口頁本身做扎實，再让地图發挥该有的作用。