聊 URL 发现，很多人第一反应是“蜘蛛池”。但爬虫发现一个新地址，本来就有好几条常规路径，蜘蛛池只是其中一条补充通道。把它的位置放对，比把它当成唯一入口更有用。
爬虫发现 URL 的几条常规路径
大致可以归为四类：
- 站内链接：导航、列表页、相关推荐、上一篇下一篇，这是最自然、也最容易被持续抓取的路径。
- sitemap：把 URL 清单主动交给搜索引擎，相当于一份自报家门的目录。
- 外部链接：其他站点指向你的链接，爬虫顺着别人的页面爬过来。
- 主动提交与外部入口页：搜索资源平台的提交接口，以及蜘蛛池这类第三方入口页。
这几条路径不是互相替代的关系，而是各自覆盖不同的场景。
sitemap 擅长什么，不擅长什么
sitemap 的优势是准确和批量。你能一次把成千上万个 URL 写清楚，顺带标注最后更新时间，爬虫读起来成本很低。
它的限制也很明显：
- sitemap 只是“声明”，不保证被抓取，更不保证被收录；
- 对于刚上线、站内还没有任何链接指向的新 URL，sitemap 只能告诉爬虫“它存在”，不能提供任何上下文或信任传递；
- 如果长期往 sitemap 里塞大量低质或重复 URL，反而会稀释爬虫对整份文件的信任。
蜘蛛池补的是哪一段
蜘蛛池做的事情，本质上是维持一个被频繁抓取的入口页，再通过入口页上的链接，把爬虫引向目标 URL。它补的正是 sitemap 补不上的部分：给孤立 URL 一个被“点到”的机会。
换句话说，sitemap 解决的是“告知”，蜘蛛池解决的是“牵引”。前者靠文件，后者靠链接路径。
两者怎么配合更合理
- 能用站内链接解决的，先用站内链接。栏目页、标签页、聚合页能承接的 URL，优先放在这些位置，成本最低也最稳。
- sitemap 用来兜底和批量声明。把可索引的 URL 分区整理，定期更新，别把已经下线的地址一直挂着。
- 蜘蛛池只用在站内确实接不上的部分。比如新域名下的独立落地页、活动页、没有站内入口的测试页。
- 入口页上的链接要指向真实可访问的页面。目标页打不开，牵引就断在最后一跳。
几个常见的坑
- 把蜘蛛池当成收录加速器：它最多提高“被看到”的概率，是否收录仍取决于目标页本身。
- sitemap 和蜘蛛池指向两套完全不同的 URL：信号互相分散，谁也没帮上谁。
- 入口页链接一股脑铺出去：一页几十上百条外链，每条分到的注意力都很薄。
- 只盯着日志里的访问次数：UA 数量涨了，不代表目标 URL 被真正抓取和评估。
把 URL 发现拆成“告知”和“牵引”两件事，思路会清楚很多：sitemap 负责把清单交出去，蜘蛛池负责把爬虫引过来，站内链接负责让这一切持续下去。
落到操作上，建议先盘一遍现有 URL 的发现路径：哪些有站内链接、哪些只写在 sitemap 里、哪些两条都没有。最后这一类才是需要外部入口页去补的。补完之后，定期回看日志和抓取数据，判断该继续加还是该收手。