不少人在做蜘蛛池或入口頁布局时都會遇到一個反直觉的情况：入口頁從几十個加到几百個，目标 URL 的抓取日誌反而没有變多，甚至比之前更少。這不是必然規律，但确實有几種常见的解释。下面按“先看資料、再看入口頁、再看目标 URL、最後看配置”的顺序拆開说。
先把口径對齐，再谈下降
日誌對比如果没有统一口径，很容易得出错誤结论。建议先固定三件事：同一段時間范围（比如都以自然日為粒度）、同一批入口頁域名、同一種蜘蛛 UA 過滤規則。然後分開統計两层資料：入口頁被抓取的次數和目标 URL 被抓取的次數。很多时候入口頁抓取量涨了，目标 URL 抓取量没涨——這不叫下降，而是轉化比例變低了，問题出在入口頁到目标 URL 這一段。
入口頁變多了，為什么抓取没跟着涨
1. 抓取額度是按站点分配的，不是按頁面數量
搜尋蜘蛛對一個站点的抓取總量，受服務器响應速度、頁面质量、歷史抓取成功率等因素影响，不會因為你多了两百個入口頁就同比放大。入口頁數量增加，最直接的结果往往是每個入口頁被回訪的間隔變長，而不是總抓取量线性上升。
2. 大量同质入口頁會拉低整站的可信度
如果新增的入口頁除了标题和關鍵詞几乎一模一样，模板、正文長度、連結结构都一致，搜尋蜘蛛抓過一批之後，對剩下頁面的抓取意愿會下降。表現就是“抓了几個就不抓了”，连带着目标 URL 也少了被顺带發現的机會。
3. 入口頁之間的互鏈消耗了抓取額度
入口頁互相連結成網、每個頁面都鏈回首頁或列表頁，會让蜘蛛把有限的抓取量花在站内循环上，真正指向目标 URL 的連結反而排在队列更靠後的位置。
目标 URL 這一侧的問题
- 响應狀態不稳定：频繁出現 5xx 或長時間超时，蜘蛛會主動降低對该路径的抓取频率。
- 抓到的内容為空或近乎空頁：连續几次都拿不到有效内容，後續排队優先級會下降。
- 被 CDN 或 WAF 限速：入口頁正常，但目标 URL 所在域名對陌生 UA 或高频請求做了拦截，日誌里能看到抓取請求被 403、429 挡掉。
- 同一目标對應多個地址：目标 URL 以多種參數形式出現，抓取被分散到多個地址上，看上去每個都没抓几次。
容易被忽略的配置問题
- 目标 URL 被 robots.txt 屏蔽，或入口頁連結带了 nofollow，蜘蛛到门口就停。
- 入口頁設定了 noindex，虽然仍可能跟踪連結，但頁面本身的抓取频率會很低。
- 入口頁整頁依赖 JS 渲染，連結在原始 HTML 里不存在，部分抓取场景下看不到。
- sitemap 提交的地址和頁面里的實际連結不一致，两個入口互相矛盾。
排查顺序建议
- 確認口径：分层統計入口頁與目标 URL 的抓取量，而不是只看總數。
- 抽查日誌：看目标 URL 是否被抓過、返回什么狀態碼、從哪個入口頁進入。
- 核對拦截：從服務器和 CDN 侧確認是否存在 UA 黑名單、频率限制、人机校驗。
- 检查配置：robots.txt、canonical、nofollow、跳轉鏈、sitemap 是否自相矛盾。
- 控制新增：先保證入口頁有實际差异和可讀内容，再考虑加量，避免一次性铺開大量模板頁。
抓取量是结果，不是可以直接調大的開關。與其不断加頁面，不如先解决响應速度、内容差异和配置冲突這三類基础問题。
如果你正處在入口頁加量的阶段，建议每加一批就观察一到两周的抓取日誌變化，再决定是否繼續铺量。抓取量下降本身不可怕，可怕的是不知道問题卡在哪一层。