抓取量不是無限的
很多人在做蜘蛛池入口頁时习惯把能想到的目标 URL 一次性全铺上去，然後看日誌發現搜尋蜘蛛每天只来了几十次，绝大多數連結從来没被請求過。這不是蜘蛛池没起作用，而是每個站点、每個入口頁在搜尋引擎那里都有一個隐含的抓取上限。抓取资源是有限的，搜尋引擎會根據自己的判断决定先看哪些頁面、看多少次。連結铺得越多，單個 URL 分到的机會就越少。
影响優先級的几個實际因素
連結在頁面里的位置
同一批連結放在正文開头和放在頁面底部，被發現的概率差別很大。搜尋引擎解析頁面时會大致按 DOM 顺序處理連結，越靠前、越靠近主体内容的連結，越容易在這一次抓取里就被跟到。把重要的目标 URL 塞在一大段無關内容之後，等于自己降低了它的優先級。
目标 URL 自身的狀態和歷史
已经有稳定内容、返回狀態碼正常、之前被抓過且质量不错的 URL，通常更容易被再次訪問。反過来，長期返回 404、内容空白的頁面，即使反复放進入口頁，搜尋引擎也會逐渐降低對它請求的频率。入口頁能解决“被發現”的問题，解决不了目标頁面本身的問题。
入口頁的更新节奏
入口頁如果長期一模一样，搜尋引擎會認為這里没有新東西，来訪频率自然下降。每次更新时增删部分連結，比一次性铺满然後几個月不動，更容易保持稳定的抓取节奏。
一個可操作的排序思路
- 把目标 URL 分组，一组是重点推進的，一组是补充的，不要混在同一层里。
- 重点组放在入口頁靠前的位置，數量控制在几十條以内，別让頁面變成纯粹的連結堆。
- 补充组可以另開入口頁，或者放在重点组之後，接受它們被發現的周期更長。
- 每次調整後隔几天看一次日誌，只關注被請求的 URL 數量有没有變化，不要盯着單條連結。
几個容易走偏的做法
- 為了“看起来丰富”，在入口頁堆几百條連結，结果每條都拿不到抓取机會。
- 所有連結用同一個锚文本，搜尋引擎很难判断這些頁面各自讲什么。
- 只更新連結不更新頁面其他内容，頁面整体没有變化信号。
- 目标 URL 本身還没准备好（内容没填充、狀態碼異常）就急着放進去。
入口頁的作用是把门打開，不是替目标頁面完成剩下的事。抓取机會有限时，優先保證少數几個 URL 被完整地看到，比铺满一堆却無人問津更實际。
怎么判断調整是否有效
看日誌时建议分两個维度记錄：一是搜尋蜘蛛当天来訪的總次數，二是被請求到的不同目标 URL 數量。前者反映入口頁的整体吸引力，後者反映連結布局是否合理。如果總次數没變但不同 URL 數量上升，說明排序調整起了作用；如果两者都下降，就要先检查入口頁是不是被服務器超时、返回異常等問题挡住了。
另外要注意，抓取量的變化往往是滞後的，調整後一两天的資料波動不必過度解讀，观察一两周的趋势更可靠。