泛目錄是蜘蛛池里最常见的一種铺量方式：用一套程序按規則批量生成 URL，让每個地址都能獨立被訪問、獨立被爬。它本身只是工具，真正决定结果的是生成規則和邊界控制。铺得越多不等于被爬得越多，失控的泛目錄往往先拖垮的是自己的服務器和日誌判断。
泛目錄在蜘蛛池里做什么
它的作用是把“可被發現的 URL”數量放大。蜘蛛顺着入口頁的連結或 sitemap 往下走，理论上每個生成的地址都是一次被收錄的机會。但搜尋引擎對同一個站点能投入的抓取资源是有限的，URL 數量暴增之後，摊到單條 URL 上的抓取次數會明顯下降。
常见的 URL 生成規則
- 關鍵詞组合：用词库交叉组合出長尾形式，例如“地区 + 服務 + 修饰词”。
- 地区與城市枚举：按行政区或城市名批量拼接，容易产生大量内容雷同的頁面。
- 拼音與數字後缀：纯编号型地址生成快，但對蜘蛛没有语义價值。
- 分頁與篩選參數：把列表頁的分頁、排序參數也放開，URL 會成倍膨胀。
- 多級目錄拼接：层級越深，單條 URL 被重新訪問的概率越低。
蜘蛛面對海量 URL 时的實际反應
多數情况下蜘蛛會抽样抓取，而不是照單全收。它會優先選擇内鏈較多、更新較频繁、返回狀態正常的地址。如果大量生成的頁面内容几乎一致，蜘蛛抓過一批之後就會降低该目錄的抓取频率——這时候日誌里看起来“蜘蛛還在来”，但被重新爬取的 URL 越来越少。
哪些信号說明泛目錄已经失控
- 日誌里 200 狀態的 URL 數量很大，但被反复抓取的只有少數几條。
- 同一套模板产出的頁面标题、正文高度重复，頁面之間没有区分度。
- 出現大量參數组合、無内容頁面，蜘蛛抓完一次就不再回訪。
- 服務器响應變慢，抓取請求被限速或超时截断。
- 抓取深度變浅，只停在目錄首頁或前几頁。
把邊界定下来的几個動作
- 先定有效頁面的上限：按能持續维護的内容量倒推 URL 數量，而不是按程序能生成多少来定。
- 只让有内容的地址返回 200：空頁、無匹配结果的组合頁返回 404 或 410，不要用 200 硬撑。
- 用 robots 或參數過滤收敛：把排序、篩選這類無實际内容的參數屏蔽掉，减少無效抓取。
- sitemap 只放真實存在且值得收錄的 URL：不要把生成器輸出的全量列表直接提交。
- 控制层級：從入口頁到目标頁尽量保持在两到三层，层級越深越容易被放弃。
- 分批上线並观察：新增一批地址後看日誌里的抓取分布變化，再决定下一批的規模。
几個常见的誤区
一是把“URL 數量”当成“收錄机會”，忽略了抓取预算是共享的。二是認為返回 200 就比 404 好，實际上把空頁伪装成正常頁面，只會让蜘蛛對该目錄的整体质量评價下降。三是把泛目錄当成一次性動作，上线之後不再清理，時間一長目錄里堆积大量失效地址，反而稀释了有效頁面的抓取机會。
泛目錄的價值不在生成了多少 URL，而在其中有多少條值得蜘蛛反复回来看。數量只是入口，内容质量才是它愿意留下来的理由。
更稳妥的做法是把泛目錄規模控制在自己能持續维護的范围内，定期清理無效地址，並把蜘蛛的抓取分布当作調整依據，而不是只盯着每天的来訪次數。