入口页只是载体，URL 池才是内容
很多人把注意力放在入口页的模板、跳转和服务器上，却忽略了入口页真正要交付的东西：一份目标 URL 清单。蜘蛛顺着入口页爬出去之后能不能落到有价值的页面上，取决于这份清单的质量，而不是入口页本身做得多漂亮。
目标 URL 池可以理解成一张持续维护的表格，每个 URL 带几个字段：来源、优先级、最近一次检查结果、是否已被抓取。它的维护成本不高，但如果完全不管，池子会很快退化成一份僵尸链接集合。
URL 从哪里来
自有站点的产出渠道
- 站点地图（sitemap）里的 URL 是最直接的一批，通常已经过滤过无效页面。
- 栏目页、列表页、标签聚合页，这类页面数量大、更新频繁，适合按批次滚动加入。
- 内容更新产生的新 URL，比如新发的文章、新上的商品详情页，时效性最强，应该走优先队列。
- 站内搜索或筛选项生成的页面要谨慎，带参数的组合容易膨胀成海量低质 URL。
站外与历史渠道
- 合作方提供的链接资源，接入前先抽样验证状态码和内容相关性。
- 历史存档、旧域名遗留的 URL，如果已经 404 或跳转到别处，最好先处理再入池。
- 外部工具或第三方导出的链接列表，质量参差，必须经过一轮筛选再用。
去重：先规范化，再做比对
精确匹配去重是不够的。http://example.com/a、https://example.com/a、https://www.example.com/a/ 在字符串上完全不同，但在抓取视角下很可能是同一个页面。入池前建议统一处理几件事：
- 协议统一，把 http 归并到 https（或按站点实际配置定）。
- 域名统一，决定是否保留 www，不要两种混用。
- 去掉无意义的追踪参数，如 utm_*、from、spm 之类。
- 末尾斜杠统一，路径大小写统一（大部分服务器不区分大小写，但搜索引擎可能视为不同 URL）。
- 处理完再对比，而不是先对比再处理。
去重的目的不是让表格好看，而是避免同一批 URL 反复占用入口页的位置，把抓取机会浪费在重复项上。
上线前的有效性筛查
一批 URL 入池之前，做一次轻量检查，能省掉后面很多麻烦：
- 状态码：200 是基本要求，3xx 要看跳转终点是不是目标页，4xx、5xx 直接剔除或打回。
- 可抓取性：检查 robots.txt 是否放行、页面是否有 noindex、canonical 是否指向了别的 URL。
- 内容是否存在：空页面、占位页、纯提示页，即使返回 200 也不值得推。
- 移动端与渲染：如果页面主要靠前端渲染，确认服务端至少能输出基本结构。
筛查不必做到极致，抽样加批量检测结合即可，重点是别让明显无效的链接进入投放队列。
分层与投放优先级
URL 池不是越平越好，建议按优先级分几层：
- 时效层：新发布、刚更新的页面，希望在较短时间内被发现。
- 核心层：站点主力页面，长期需要保持被爬状态。
- 长尾层：数量大、单页价值低，适合慢慢铺，不占用主入口页的宝贵位置。
分层之后，入口页上的链接分布也能跟着调整，新页面和核心页面集中放，长尾页面分散放，避免一个入口页被低优先级 URL 塞满。
失效剔除：什么时候剔、怎么剔
URL 池是活的，站点改版、内容下架、路径调整都会让一批 URL 失效。比较稳妥的做法是：
- 定期复检，把状态码异常、跳转终点偏离、被 noindex 的 URL 标记出来。
- 对确认下线的页面直接移除，不要留在池子里“等它自己恢复”。
- 如果是临时性故障（如 5xx），先标记观察，连续几次复检失败再剔除。
- 剔除后同步更新入口页，否则入口页上会留下一堆指向死链的锚点。
与其维护一份只增不减的清单，不如让 URL 池保持进出平衡：有新增，也有淘汰。
几个常见误区
- 把入口页当仓库：一次往单个入口页上堆几百个链接，结果蜘蛛只爬到前一部分就走了。
- 只做精确去重：参数、斜杠、大小写没处理，重复率居高不下。
- 从不清理：池子里一半是 404，入口页的抓取价值被持续稀释。
- 一次性全量投放：新池子上线就把所有 URL 铺开，缺少观察和调整的余地。
日常维护建议
把 URL 池当成一份需要定期打理的资产，而不是一次性的任务清单。可以固定一个节奏：新增走增量更新，每周做一次抽样复检，每月做一次全量状态核对，把失效项清掉、把新页面补上。投放时小步验证，观察入口页的抓取反馈，再决定下一批的量。这样做未必马上看到变化，但能让整个蜘蛛池长期保持可用，而不是上线几天就开始空转。