很多人在做蜘蛛池时，把注意力全放在入口頁上：連結够不够、结构清不清楚、有没有被拦截。但對照日誌會發現，入口頁一切正常的情况下，目标 URL 的抓取量依然上不去。這时候需要把视线從入口頁移開，看看目标站本身的响應表現。
入口頁负责“發現”，目标站负责“被抓到”
搜尋蜘蛛的工作大致分两步：先在入口頁上看到連結，把這些 URL 放進待抓取队列；随後真正去請求這個 URL。入口頁决定的是能不能被發現，而請求时快不快、成不成功，取决于目标站自己。
所以入口頁做得再規范，也只能把 URL 送進队列。队列里的 URL 什么时候被取出来，還要看目标站所在主机目前的抓取状况。
抓取节奏通常是按站点分配的
搜尋引擎不會無限量地抓一個站。它會结合歷史抓取成功率、响應時間、頁面更新频率等信号，给每個主机分配一個大概的抓取节奏。表現稳定、响應快的站，节奏會慢慢放開；经常超时、报错的站，节奏會被压低。
這套逻辑同样适用于目标站。如果目标站响應慢，即使入口頁源源不断地提供新 URL，這些 URL 也只能排队等待，而且队列會越积越長。
目标站慢會带来哪些连鎖反應
- 待抓取队列變長：新發現的 URL 排在後面，抓取延迟可能從几分钟拉長到几天。
- 抓取成功率下降：請求超时被记為失敗，失敗率一高，抓取节奏會進一步收紧。
- 單轮抓取深度受限：蜘蛛在一轮抓取里能走的路變短，靠後的連結更容易被跳過。
- 重复發現：入口頁還在不断輸出同一個 URL，队列里堆起大量重复項。
入口頁慢和目标頁慢，影响不是一回事
入口頁响應慢，影响的是發現环节——蜘蛛拿不到頁面内容，連結自然提取不出来，入口頁本身的抓取频率也會跟着下滑。
目标頁响應慢，影响的是抓取环节——連結已经被發現了，但請求這一步走不動。两種問题在日誌上的表現也不同：前者是入口頁的請求耗时異常，後者是目标 URL 的超时或耗时抖動。
排查时先把這两類日誌分開看，能省掉不少無效折腾。
可以按這個顺序排查
- 對比目标 URL 與入口頁的平均响應時間，看差距是否明顯。
- 確認目标站是否對搜尋蜘蛛做了額外的限速、驗證或拦截。
- 检查目标站有没有偶發的 5xx、连接重置，比例不高也值得留意。
- 看入口頁輸出的 URL 是否大量重复，重复項會挤占队列。
- 確認目标站同一時間是否被其他抓取程序压满带宽。
几個容易踩的誤区
入口頁數量翻倍，目标 URL 的抓取量就會翻倍——這個假设在目标站响應慢的时候基本不成立，多出来的入口頁往往只是把同一個 URL 反复塞進队列。
- 只盯着入口頁改结构，忽略目标站本身的响應质量。
- 把目标站的超时理解成“蜘蛛没来”，實际是来了但没抓成。
- 為追求數量把大量低质量 URL 一起丢给搜尋蜘蛛，反而稀释了有效連結。
小结
入口頁解决的是發現效率，目标站解决的是抓取效率，两者是接力關系而不是替代關系。如果目标站本身响應慢、错誤多，優先把它修好，比繼續堆入口頁更有效。日常运营中，把入口頁日誌和目标 URL 的抓取日誌放在一起對照，才容易看清瓶颈到底在哪一环。