入口頁是蜘蛛進入蜘蛛池的第一跳。連結放得太少，URL 被發現的机會就少；放得太多，頁面變重、解析成本上升，蜘蛛可能只抓走其中一部分就离開。所以入口頁的連結數量不是越多越好，而是要和頁面体量、蜘蛛的抓取习惯、以及你實际要推進的 URL 規模匹配起来。
入口頁容量為什么會影响 URL 發現
蜘蛛抓取一個頁面时，會先下载 HTML，再解析出其中的連結，然後决定要不要繼續跟進。連結列表越長，HTML 越大，解析和去重需要的時間就越長。当連結數量超過蜘蛛愿意處理的范围时，往往只有靠前的一部分被跟進，後面的連結即使存在，也可能長期排在队列末尾。
這不意味着存在一個绝對上限。同样的連結數量，在不同站点、不同頁面结构下的表現完全不同。真正要關注的是蜘蛛有没有把連結抓走，而不是這個數字本身好不好看。
一個入口頁放多少連結：先看三個约束
1. 頁面体积
纯文字連結列表很轻，几百條也不會让頁面過大；但如果每條連結都带摘要、缩略图、外鏈脚本，几十條就可能把頁面撑到几百 KB。頁面越大，蜘蛛花在下载上的時間越多，留给發現新連結的余量就越少。入口頁尽量做成轻量结构，只保留連結和必要的上下文。
2. 蜘蛛實际跟進的比例
可以在服務器日誌里看入口頁被抓取之後，目标 URL 有多少條真的出現了訪問记錄。如果投放 200 條、實际只有 30 條被跟進，說明要么連結位置太靠後，要么頁面里干扰元素太多。這时候把列表拆成几頁，往往比繼續加長度更有效。
3. 失效與重复連結
入口頁里如果混着大量 404、301 或重复 URL，抓取額度會被這些無效目标消耗掉。投放前先做一轮清理，把已经失效或重复的連結剔出去，比反复調整連結數量更能提升有效抓取。
常见的三種排布方式
- 單頁長列表：适合 URL 數量不多、更新频繁的场景，维護简單，但超過一定長度後後半段容易被忽略。
- 分頁列表：把連結拆到多頁，配合上一頁、下一頁連結，蜘蛛可以顺着翻頁逐层抓取。适合几百到几千條的量級。
- 分层入口：首頁只放分類入口，分類頁再放具体 URL。层級多一跳，但每层頁面更轻，也更容易控制抓取节奏。
分批投放的實操思路
- 先按业務把 URL 分组，比如按栏目、按更新批次，而不是一股脑全堆上去。
- 每组先投一小批，观察日誌里入口頁和目标頁的抓取情况，再决定下一批放多少。
- 入口頁的連結顺序按重要程度排，重要的放前面，减少它們排在队列末尾的概率。
- 新連結是追加到已有入口頁，還是新建入口頁，選一種坚持用。频繁更換结构，會让蜘蛛重新适應。
几個容易踩的坑
- 把入口頁做成前端渲染，連結在 HTML 源碼里看不到，蜘蛛拿不到。
- 連結用 JS 事件触發跳轉，而不是可直接訪問的 a 标簽。
- 同一批 URL 在多個入口頁反复出現，浪費抓取額度，也容易让蜘蛛把它当成低價值内容。
- 為了容纳更多連結，把入口頁塞满無關内容，反而稀释了連結所在的位置。
入口頁的容量問题，本质上是抓取額度怎么分配的問题。與其纠结一個頁面放多少條，不如先確認蜘蛛是否真的把連結抓走了。
怎么判断目前容量是否合适
看三個資料就够了：入口頁的抓取次數、目标 URL 的抓取覆盖率，以及從投放到達之間的時間間隔。如果入口頁经常被抓，但目标頁覆盖迟迟上不去，就该考虑缩短列表或拆頁；如果目标頁覆盖稳定、時間間隔也正常，就没必要為了看起来更整齐去改结构。
容量没有标准答案，只有和目前资源、目前 URL 規模匹配不匹配。先小批量驗證，再逐步調整，比一次性堆满要稳得多。