聊蜘蛛池时，很多人只盯着一個數字：蜘蛛来了多少次。但搜尋蜘蛛對每個站点的抓取量並不是無限的，在同样的時間里，它能發出的請求有一個大致上限，通常被称作抓取预算。入口頁铺得越多，摊到每個頁面上的机會就越薄。這個帳算不清楚，就會出現一種错觉——池子一直在加，目标站却没什么動静。
抓取预算大致由什么决定
它不是官方公布的一個固定數值，只能從日誌里估。影响它的因素通常是這几類：
- 站点本身的歷史表現與被信任程度
- 内容更新频率，長期不動的頁面回訪會變慢
- 服務器响應速度與稳定性
- 站内連結结构，层級太深會让蜘蛛走不到底
- 重复頁面、空頁、死鏈所占的比例
這几項里，只有响應速度和連結结构是运营者能較快調整的。其余几項都需要時間积累。
入口頁消耗的到底是谁的预算
關键要看入口站和目标站是不是同一個域名。入口站是獨立域名时，蜘蛛對它的抓取額度通常算在入口站自己头上，不會直接從目标站的名額里扣。這也是很多人把入口站單獨铺開的原因。
但這里有個間接關系：蜘蛛在單位時間内的總资源是有限的。如果它被大量入口頁占住了時間，對目标站的回訪节奏多少會受影响。影响有多大，取决于入口頁的規模和抓取效率。
什么情况下會挤占目标站
- 把池子塞在主站子目錄里。入口頁和目标站同域，抓取額度就是同一份，入口頁抓得多，正文頁自然抓得少。
- 跳轉层級太長。每一跳都是一次請求。301、302、脚本跳轉层层套下去，蜘蛛花在路上的次數會明顯增加。
- 入口頁高度雷同。同一套模板批量生成，蜘蛛反复抓到的其實是同一份内容，等于把预算花在了重复劳動上。
- 入口站响應慢。蜘蛛有等待上限，排队的時間也算在它的時間成本里。
- 目标站本身预算就紧。新站、内容少的站，本来回訪就稀疏，再被分散注意力，效果會更差。
三個常见的誤判
入口頁越多，目标站抓得越多
两者之間不是线性關系。真正起作用的是蜘蛛能不能顺着連結走到目标頁，以及目标頁值不值得抓，而不是入口頁的數量堆到多少。
入口頁的抓取不用花成本
蜘蛛来一次就是一次請求。入口站數量上去以後，服務器带宽、响應時間、日誌量都會跟着涨，這些都會反過来影响抓取效率。
只要連結指向目标站，预算就能轉移
预算不能人為搬运。入口頁能做的是提供一條被發現的路径，让蜘蛛知道目标頁存在，至于抓多少、什么时候抓，仍由蜘蛛自己判断。
可以對照的几條做法
- 池子和目标站分開域名，不要把入口頁放到主站目錄下。
- 控制入口頁總量，宁可少而精，保證每個頁面都有被反复抓到的机會。
- 压缩跳轉层級，能一步到位就不要三步。
- 入口頁保持可訪問、响應快，定期清掉失效頁面。
- 用日誌做對照：入口頁增加後，目标站被抓的次數是升、是平還是降。
- 把精力放回目标站本身的内容和站内结构，這才是承接抓取的根本。
蜘蛛池能改變的是蜘蛛發現 URL 的路径和机會，改變不了目标站内容质量决定的收錄與排名。把它当作收錄開關来用，预期往往會落空。
简單说，先把预算這筆帳算清楚，再决定铺多少入口頁。數量不是目标，让蜘蛛顺畅地走到值得抓的頁面上，才是。