入口頁只是载体，URL 池才是内容
很多人把注意力放在入口頁的模板、跳轉和服務器上，却忽略了入口頁真正要交付的東西：一份目标 URL 清單。蜘蛛顺着入口頁爬出去之後能不能落到有價值的頁面上，取决于這份清單的质量，而不是入口頁本身做得多漂亮。
目标 URL 池可以理解成一張持續维護的表格，每個 URL 带几個字段：来源、優先級、最近一次检查结果、是否已被抓取。它的维護成本不高，但如果完全不管，池子會很快退化成一份僵尸連結集合。
URL 從哪里来
自有站点的产出渠道
- 站点地图（sitemap）里的 URL 是最直接的一批，通常已经過滤過無效頁面。
- 栏目頁、列表頁、标簽聚合頁，這類頁面數量大、更新频繁，适合按批次滚動加入。
- 内容更新产生的新 URL，比如新發的文章、新上的商品詳情頁，时效性最强，應该走優先队列。
- 站内搜尋或篩選項生成的頁面要谨慎，带參數的组合容易膨胀成海量低质 URL。
站外與歷史渠道
- 合作方提供的連結资源，接入前先抽样驗證狀態碼和内容相關性。
- 歷史存档、舊域名遗留的 URL，如果已经 404 或跳轉到別處，最好先處理再入池。
- 外部工具或第三方導出的連結列表，质量參差，必须经過一轮篩選再用。
去重：先規范化，再做比對
精确匹配去重是不够的。http://example.com/a、https://example.com/a、https://www.example.com/a/ 在字符串上完全不同，但在抓取视角下很可能是同一個頁面。入池前建议统一處理几件事：
- 协议统一，把 http 归並到 https（或按站点實际配置定）。
- 域名统一，决定是否保留 www，不要两種混用。
- 去掉無意义的追踪參數，如 utm_*、from、spm 之類。
- 末尾斜杠统一，路径大小寫统一（大部分服務器不区分大小寫，但搜尋引擎可能视為不同 URL）。
- 處理完再對比，而不是先對比再處理。
去重的目的不是让表格好看，而是避免同一批 URL 反复占用入口頁的位置，把抓取机會浪費在重复項上。
上线前的有效性筛查
一批 URL 入池之前，做一次轻量检查，能省掉後面很多麻烦：
- 狀態碼：200 是基本要求，3xx 要看跳轉终点是不是目标頁，4xx、5xx 直接剔除或打回。
- 可抓取性：检查 robots.txt 是否放行、頁面是否有 noindex、canonical 是否指向了別的 URL。
- 内容是否存在：空頁面、占位頁、纯提示頁，即使返回 200 也不值得推。
- 移動端與渲染：如果頁面主要靠前端渲染，確認服務端至少能輸出基本结构。
筛查不必做到极致，抽样加批量檢測结合即可，重点是別让明顯無效的連結進入投放队列。
分层與投放優先級
URL 池不是越平越好，建议按優先級分几层：
- 时效层：新發布、刚更新的頁面，希望在較短時間内被發現。
- 核心层：站点主力頁面，長期需要保持被爬狀態。
- 長尾层：數量大、單頁價值低，适合慢慢铺，不占用主入口頁的宝贵位置。
分层之後，入口頁上的連結分布也能跟着調整，新頁面和核心頁面集中放，長尾頁面分散放，避免一個入口頁被低優先級 URL 塞满。
失效剔除：什么时候剔、怎么剔
URL 池是活的，站点改版、内容下架、路径調整都會让一批 URL 失效。比較稳妥的做法是：
- 定期复检，把狀態碼異常、跳轉终点偏离、被 noindex 的 URL 标记出来。
- 對確認下线的頁面直接移除，不要留在池子里“等它自己恢复”。
- 如果是临时性故障（如 5xx），先标记观察，连續几次复检失敗再剔除。
- 剔除後同步更新入口頁，否則入口頁上會留下一堆指向死鏈的锚点。
與其维護一份只增不减的清單，不如让 URL 池保持進出平衡：有新增，也有淘汰。
几個常见誤区
- 把入口頁当仓库：一次往單個入口頁上堆几百個連結，结果蜘蛛只爬到前一部分就走了。
- 只做精确去重：參數、斜杠、大小寫没處理，重复率居高不下。
- 從不清理：池子里一半是 404，入口頁的抓取價值被持續稀释。
- 一次性全量投放：新池子上线就把所有 URL 铺開，缺少观察和調整的余地。
日常维護建议
把 URL 池当成一份需要定期打理的资产，而不是一次性的任務清單。可以固定一個节奏：新增走增量更新，每周做一次抽样复检，每月做一次全量狀態核對，把失效項清掉、把新頁面补上。投放时小步驗證，观察入口頁的抓取反馈，再决定下一批的量。這样做未必马上看到變化，但能让整個蜘蛛池長期保持可用，而不是上线几天就開始空轉。