做蜘蛛池时经常卡在一個细节上：入口頁到底放几條目标連結合适？放一條顯得浪費頁面，放几十上百條又担心搜尋蜘蛛根本不看。這個問题没有统一答案，但有几個可以观察的規律，調整起来也不算复杂。
先搞清楚：一個站点能被抓多少，是有上限的
搜尋蜘蛛不會無限量抓取某個站点，它會结合站点歷史表現、响應速度、内容更新频率等因素，给出一段时期内的抓取配額，再把這個配額分给入口頁、列表頁和目标頁。
于是會出現两種典型情况：入口頁每頁塞几百條連結，蜘蛛可能只處理了前面几十條，後面的根本没解析到；反過来每頁只放几條，蜘蛛通常都能跟上，但你需要准备更多入口頁来承载總量。
每頁放多少，取决于四個變量
- 可用的入口頁總量：入口頁足够多，每頁少放几條也能覆盖到目标；入口頁很少，才需要在單頁上堆量。
- 入口頁的實际抓取频率：常被抓的頁面可以多放，長期不来的頁面放多少都只是摆设。
- 連結所在位置：正文里的連結，比頁脚、侧栏、折叠区块里的連結更容易被抓取到。
- 頁面体积與响應速度：頁面好几 MB，或者经常超时，蜘蛛解析到一半放弃並不罕见。
两種常见做法，各有适用场景
少連結、多頁面
每頁放 5～20 條連結，集中在正文区域，用寫在 HTML 里的标准超連結呈現。好處是蜘蛛跟進完整度高，目标 URL 的發現更稳定；代價是需要准备更多入口頁，並且這些入口頁本身要能被正常抓取。
多連結、少頁面
每頁放几十條甚至上百條連結，适合入口頁數量有限、但目标 URL 很多的情况。要注意的是，越靠後的連結被處理的比例越低，實际覆盖到的可能只有前面一部分，堆量並不等于等比例放大。
几個容易被忽略的细节
- 把連結全放在頁面底部，或需要点击展開才能看到的区块里，被抓取的概率會打折。
- 連結靠 JavaScript 動態插入，部分搜尋引擎可能看不到，最终只剩原始 HTML 里那几條。
- 同一個目标 URL 在同一頁反复出現，通常不會带来額外收益，反而挤占了其他連結的位置。
- 入口頁本身响應慢、频繁返回 5xx，蜘蛛會降低回訪频率，之後放几條連結效果都會變差。
- 連結後面挂一堆跟踪參數，容易被当成多個不同 URL 處理，分散有限的抓取量。
怎么判断目前數量是多了還是少了
- 看服務器日誌里搜尋蜘蛛對入口頁的抓取次數，以及随後對目标 URL 的抓取次數。
- 如果入口頁被抓了，但目标 URL 几乎没有新增抓取，優先检查連結是否在正文、是否是能被解析的超連結。
- 如果目标 URL 有抓取但集中在少數几個，多半是單頁連結過多或位置太靠後，可以试着拆成多頁。
- 調整後观察一到两周再下结论，抓取频率的變化通常有滞後。
實操建议：單頁連結數量可以從 10 條左右起步，根據日誌里實际被抓到的條數上下調整。重点是让蜘蛛每次来都能抓到、尽量抓全，而不是一次给它看一大堆。
最後提醒一句：連結數量只是影响發現效率的一环。入口頁能不能被稳定抓取、多久回訪一次，往往比單頁放几條更關键。數量調好了，但入口頁本身長期不更新、响應又慢，效果依然有限。