做蜘蛛池的人常遇到一個反差：把几百條目标 URL 一次性铺到入口頁上，日誌里却看不到搜尋蜘蛛挨個跟進；改成每天只加十几條，抓取反而更稳定。這中間差的不是連結數量本身，而是搜尋蜘蛛的抓取预算和 URL 队列的處理方式。
搜尋蜘蛛不是看到就马上抓
搜尋蜘蛛發現一個 URL 之後，通常先把它放進待抓取队列，再根據站点的抓取配額慢慢消化。配額和站点本身的响應速度、内容更新频率、歷史抓取表現都有關系。一個刚起步、内容單薄的入口頁，初期配額往往很低，一次能给到的抓取次數有限。
所以入口頁上突然多出几百條新連結，並不意味着這几百條都會在短時間被訪問。蜘蛛會按自己的優先級挑一部分，剩下的可能排很久，也可能在队列調整中被丢掉。
集中铺完，常见的几種反應
- 入口頁被抓了一次，但日誌里几乎看不到内鏈被跟進；
- 只有靠近頁面顶部、處在正文区域的少數連結被抓；
- 部分目标 URL 被抓過一次後就長期不再訪問，即使内容有更新；
- 入口頁本身的抓取频次没有變化，等于新連結没有带来任何增量。
這些現象不一定是入口頁寫错了，更多是抓取预算和連結數量不匹配造成的。
分批铺，為什么更容易被跟進
分批的核心不是“少”，而是让頁面持續有可感知的變化。每次新增少量連結，入口頁就有了更新信号，蜘蛛下次来訪时面對的是一個變化不大、容易消化的頁面，在配額范围内更可能把新增部分走完。同时連結數量少，你也能清楚對照日誌，知道哪條被跟了、哪條没被跟，方便复盘是連結寫法的問题還是入口頁本身的問题。
一個可执行的节奏安排
- 先確認入口頁能被正常抓取：狀態碼正常、robots 没有誤挡、响應時間在可接受范围内。
- 單次新增連結控制在你愿意逐條核對的量級，十几條到几十條都可以，重点是能观察。
- 铺完後隔一段固定時間看一次日誌，记錄實际被抓的連結和對應的入口頁。
- 没被跟進的連結，先回到入口頁检查寫法：是否在正文区域、是否是普通 a 标簽、href 是否完整。
- 確認寫法没問题再考虑換入口頁或調整锚文本，不要用繼續堆量的方式掩盖問题。
需要留意的邊界
节奏只是變量之一。如果入口頁本身長期响應慢、内容高度重复，或者目标站已经出現明顯的质量問题，無论怎么調整铺量节奏，跟進情况都不會有實质改善。反過来，如果一個入口頁表現稳定，也没必要為了“看起来活跃”频繁改動同一頁面，過于频繁的變動有时會让抓取表現變得不稳定。
把铺量节奏当成一個观察工具，而不是一種技巧。它的價值在于让你看清蜘蛛到底跟進了哪些連結，而不是替你解决入口頁本身的质量問题。
回到最根本的三件事：入口頁可正常抓取、目标 URL 可正常訪問、頁面的變化能被感知。把這三件事做扎實，再谈节奏，判断才會准确。