做蜘蛛池的人常有一個直觉：入口頁數量翻倍，蜘蛛来訪也應该翻倍。實际跑一段時間看日誌，往往是另一幅画面——總量确實涨了，但單個頁面被訪問的次數在往下掉，有些頁甚至進了一次就再没出現過。這背後是抓取预算在起作用。
抓取预算由两部分决定
搜尋引擎愿意在一個站点上花多少抓取资源，通常看两件事。一是主机能承受多少：如果並發請求一高服務器就超时，蜘蛛會主動降速，避免把站点打挂。二是這些 URL 值不值得抓：同样的抓取槽位，蜘蛛會優先给更新频繁、有明确用途的頁面。
蜘蛛池的入口頁先天處于不利位置。它們大多數是通道性质的頁面，本身不提供多少可讀内容，属于需求端评分偏低的一類。這意味着你能争取的主要不是“更多總量”，而是“让已有的槽位花在有用的路径上”。
為什么頁面越来越多，單頁却越来越冷
一個资源池里，蜘蛛一轮能處理的 URL 數量是有限的。入口頁從一百個涨到一萬個，分母變大，單位頁面的曝光机會就被摊薄。更麻烦的是低质量的扩張會拉低整批頁面的印象分：模板雷同、正文只有几行字、出口連結全堆在頁脚，這類頁面在蜘蛛眼里属于“来了也没什么可拿”。
日誌里那些“只来過一次”的頁面，多數不是被拦，而是没被排進下一轮抓取計划。
三個容易踩的誤区
誤区一：把提交量当抓取量
提交、推送、sitemap 都只是把 URL 送到门口，蜘蛛要不要進门、進几次，是另一回事。後台顯示的“已提交數量”不能当作效果。
誤区二：只加頁面，不加路径
新入口頁如果只能靠 sitemap 被找到，没有站内連結把它串起来，它的發現優先級會一直排在後面。頁面之間形成的路径，比頁面本身的數量更重要。
誤区三：一批入口頁全部指向同一個出口
同一批頁面千篇一律指向同一個目标，蜘蛛抓几頁就摸清了模式，後續頁面的抓取動力會下降。出口适当分散，路径才更像真實站点。
把预算花在刀刃上的做法
- 分批上线，不要一次铺满。先放一批，观察几天的抓取频次和抓取深度，再决定加不加量。
- 每個入口頁留一点獨有内容。哪怕是一段针對该頁面主题的短摘錄，也比纯連結列表更容易被繼續抓。
- 出口連結放在明顯位置。首屏或正文中部的連結，被顺路抓走的概率明顯高于埋在頁脚深處的連結。
- 控制單机、單域名下的入口頁密度。同一批资源里堆太多相似頁面，摊薄的是自己。
- 定期合並或下线低效頁面。長期零抓取的頁面留在那里，只會繼續占用分母。
看什么判断该收手
重点看三样：單個入口頁的周抓取次數、蜘蛛在頁面上的停留與後續点击、以及入口頁指向的下一跳被訪問的比例。如果连續两三周新增頁面带不来新的抓取路径，說明扩張已经超出這批资源的抓取预算，此时繼續加量不如先把現有頁面做扎實。
蜘蛛池做的是“提供路径”，不是“制造抓取”。预算有限时，十個能被反复訪問的入口頁，通常比一千個只来一次的頁面更有用。