聊 URL 發現，很多人第一反應是“蜘蛛池”。但爬虫發現一個新地址，本来就有好几條常規路径，蜘蛛池只是其中一條补充通道。把它的位置放對，比把它当成唯一入口更有用。
爬虫發現 URL 的几條常規路径
大致可以归為四類：
- 站内連結：導航、列表頁、相關推荐、上一篇下一篇，這是最自然、也最容易被持續抓取的路径。
- sitemap：把 URL 清單主動交给搜尋引擎，相当于一份自报家门的目錄。
- 外部連結：其他站点指向你的連結，爬虫顺着別人的頁面爬過来。
- 主動提交與外部入口頁：搜尋资源平台的提交接口，以及蜘蛛池這類第三方入口頁。
這几條路径不是互相替代的關系，而是各自覆盖不同的场景。
sitemap 擅長什么，不擅長什么
sitemap 的優势是准确和批量。你能一次把成千上萬個 URL 寫清楚，顺带标注最後更新時間，爬虫讀起来成本很低。
它的限制也很明顯：
- sitemap 只是“声明”，不保證被抓取，更不保證被收錄；
- 對于刚上线、站内還没有任何連結指向的新 URL，sitemap 只能告诉爬虫“它存在”，不能提供任何上下文或信任传递；
- 如果長期往 sitemap 里塞大量低质或重复 URL，反而會稀释爬虫對整份文件的信任。
蜘蛛池补的是哪一段
蜘蛛池做的事情，本质上是维持一個被频繁抓取的入口頁，再通過入口頁上的連結，把爬虫引向目标 URL。它补的正是 sitemap 补不上的部分：给孤立 URL 一個被“点到”的机會。
換句话说，sitemap 解决的是“告知”，蜘蛛池解决的是“牵引”。前者靠文件，後者靠連結路径。
两者怎么配合更合理
- 能用站内連結解决的，先用站内連結。栏目頁、标簽頁、聚合頁能承接的 URL，優先放在這些位置，成本最低也最稳。
- sitemap 用来兜底和批量声明。把可索引的 URL 分区整理，定期更新，別把已经下线的地址一直挂着。
- 蜘蛛池只用在站内确實接不上的部分。比如新域名下的獨立落地頁、活動頁、没有站内入口的測試頁。
- 入口頁上的連結要指向真實可訪問的頁面。目标頁打不開，牵引就断在最後一跳。
几個常见的坑
- 把蜘蛛池当成收錄加速器：它最多提高“被看到”的概率，是否收錄仍取决于目标頁本身。
- sitemap 和蜘蛛池指向两套完全不同的 URL：信号互相分散，谁也没帮上谁。
- 入口頁連結一股脑铺出去：一頁几十上百條外鏈，每條分到的注意力都很薄。
- 只盯着日誌里的訪問次數：UA 數量涨了，不代表目标 URL 被真正抓取和评估。
把 URL 發現拆成“告知”和“牵引”两件事，思路會清楚很多：sitemap 负责把清單交出去，蜘蛛池负责把爬虫引過来，站内連結负责让這一切持續下去。
落到操作上，建议先盘一遍現有 URL 的發現路径：哪些有站内連結、哪些只寫在 sitemap 里、哪些两條都没有。最後這一類才是需要外部入口頁去补的。补完之後，定期回看日誌和抓取資料，判断该繼續加還是该收手。