搭蜘蛛池入口頁时，最容易出現的一個動作就是“堆連結”：一個頁面里塞几十條甚至上百條目标 URL，觉得這样搜尋蜘蛛一次進来就能带走更多 URL。這個想法方向没错，連結确實是搜尋蜘蛛發現新 URL 的主要路径之一，但頁面上能放多少條連結，和這些連結最终會不會被抓，並不是同一件事。
没有官方規定的連結數量上限
搜尋引擎從来没有公開说過“一個頁面最多只能有 N 條連結”。早期流传的“每頁不超過 100 條連結”来自一些老文档的提示性说法，並不是硬性規則。真正起作用的是抓取预算：搜尋蜘蛛愿意在你的站点上花多少時間、抓多少個 URL。頁面里連結再多，如果预算不够，也只能抓走其中一部分。
所以問题應该換成：在有限的抓取预算下，一個入口頁放多少條連結，能让我關心的目标 URL 被發現的概率最高。數量本身不重要，有效連結的比例才重要。
連結越多，邊际效果越差
- 頁面体积變大。連結堆多了，HTML 可能從几十 KB 涨到几百 KB，搜尋蜘蛛讀取和解析的成本上升。
- 單條連結获得的關注被稀释。連結被爬的先後顺序受位置、上下文和頁面整体质量影响，排在後面的連結更靠後。
- 重复和失效連結比例升高。手工维護的入口頁，堆得越多，越容易出現死鏈、重复 URL、带一堆參數的地址。
- 頁面看起来更像“連結列表”，而不是有内容的頁面，長期看對入口頁本身的抓取频率没有帮助。
决定放多少條的几個現實因素
頁面体积與加载方式
如果連結是寫在 HTML 里的普通 a 标簽，几百條也就几十 KB，問题不大；但如果每條連結外面套了复杂的 JS 渲染、图片、統計脚本，頁面實际加载成本會高得多。能用静態 HTML 就尽量用静態 HTML。
連結指向的域名分布
一個入口頁里混着几個不同域名的目标 URL，和集中指向同一個域名，搜尋蜘蛛的處理方式會不一样。跨域連結越多，單個域名分到的抓取机會越少。建议按域名分组，一個入口頁集中服務同一批目标站。
目标 URL 本身的狀態
放進入口頁之前先確認目标 URL 能正常返回、不是重复内容、不是已经被抓過的老頁面。入口頁里如果有一半連結指向打不開或返回異常的地址，搜尋蜘蛛後續再来這里的意愿會下降。
實操建议：從少量開始，按反馈調整
- 第一版先放 20~50 條，優先放你最希望被發現的 URL，排在頁面靠前的位置。
- 观察一到两周，看服務器日誌里這些目标 URL 是否出現搜尋蜘蛛的訪問记錄。
- 如果大部分都被抓過，說明目前規模是够的，可以再拆出一個新入口頁分担，而不是往同一頁繼續加。
- 如果只有少部分被抓，先检查連結是否可被正常解析、頁面是否返回正常狀態碼，再考虑調整連結位置，而不是立刻加倍數量。
- 定期清理：把已经稳定被抓取、已经收錄的 URL 從入口頁移出，给新的目标 URL 腾位置。
入口頁的作用是“發現”，不是“收錄”。把連結放進去只代表给搜尋蜘蛛提供了一條路径，能不能收錄還取决于目标頁面本身的质量和站点整体情况。
几個常见誤区
- 以為連結數量可以直接換抓取量。抓取量由站点整体决定的抓取预算限制，不是入口頁寫多少就有多少。
- 把所有 URL 塞進一個頁面。不如拆成多個入口頁，各自承担一部分，單頁压力更小。
- 用隐藏連結或大量無意义锚文本凑數。既不利于解析，也容易让入口頁被判定為低质量頁面。
- 放進去就不再管。入口頁需要定期维護，删掉失效連結和已经完成任務的連結。
怎么判断该加還是该减
判断标准不是頁面上現在有多少條，而是這些連結有多少真的被搜尋蜘蛛抓過。如果日誌里能看到目标 URL 被持續訪問，目前數量就没問题；如果加了半天連結，日誌里却没有對應记錄，繼續加數量通常不會改變结果，反而應该回头检查入口頁是否可被正常抓取、連結是否可被解析。