“入口頁一頁放多少條連結”是問得最多的問题之一。答案不是一個固定數字，而要看這些連結能不能在合理的抓取预算内被搜尋蜘蛛發現。與其纠结 50 條還是 200 條，不如先弄清影响發現的几個變量。
為什么没有一個统一的條數上限
搜尋蜘蛛對單個頁面的處理能力，取决于頁面体积、是否需要渲染、服務器响應速度，以及這個域名整体的抓取频次。同一個頁面，放在抓取频繁的站点上，和放在一個刚上线、几乎没有抓取记錄的域名上，實际被處理的结果會差很多。所以任何“每頁最多 X 條”的结论都只能是经驗參考，不能当成規則。
真正影响發現的几個因素
- 連結是否出現在初始 HTML 里。需要执行 JavaScript 才出現的連結，發現概率和延迟都會變差。
- 頁面体积與連結位置。如果前半部分代碼就占满了讀取額度，後面的連結可能根本讀不到。
- 連結是否重复。同一目标 URL 在一頁里出現多次，通常不會提高發現概率，只是浪費篇幅。
- 目标 URL 本身是否可抓取。入口頁返回 200，目标地址却是 404、403 或被 robots.txt 挡住的 URL，放再多也没用。
- 入口頁的整体規模。入口頁少时，每頁可以多放一些；入口頁很多时，單頁應更克制，让抓取更均匀地分散開。
- 域名自身的抓取记錄。新域名或抓取频次低的域名，即使連結很多，實际被處理的往往只是其中一部分。
一個可以先用的起步区間
如果要给一個便于起步的參考：纯連結列表型入口頁，正文保持简洁，每頁先控制在几十條以内，观察一段時間抓取日誌後再調整。這個數字的依據不是“搜尋引擎的規定”，而是让頁面保持小体积、連結集中在初始 HTML 中，方便抓取器一次讀完。
入口頁數量少、抓取频次稳定时，可以适当增加；如果發現抓取總量没變、只是分散到了更多頁面上，說明單頁再加連結已经不會带来額外收益，此时更應该回头優化入口頁本身的响應速度和可讀性。
怎么用日誌做實测
- 给每個入口頁记錄獨立的路径或參數，方便在日誌里区分。
- 統計一段時間内各入口頁被搜尋蜘蛛訪問的次數與返回狀態碼。
- 再看這些入口頁给出的目标 URL，被訪問的比例和時間分布。
- 挑一個入口頁增加連結數量，其余保持不變，對比前後目标 URL 的抓取變化。
這样得到的结论，比套用任何數字都更贴合你自己的站点。需要注意的是，抓取存在延迟，观察周期太短容易得出错誤结论。
几個常见誤区
- 把連結堆到几百上千條，以為“多放總没坏處”，结果只是拉長頁面、稀释了重点。
- 只看入口頁被訪問，不看目标 URL 是否被抓，誤判為“連結有效”。
- 所有入口頁用同一套連結顺序，導致抓取長期集中在前几條。
- 忽略連結多样性，同一目标 URL 反复出現，白白占用頁面空間。
調整連結數量时，最好一次只改一個變量，並留出观察周期；频繁大改會让日誌資料失去可比性，也让你無法判断是哪次改動起了作用。
简單说，入口頁放多少條連結合适，取决于頁面能不能被完整讀取、目标 URL 能不能被抓、以及抓取预算够不够分。先小規模驗證，再按日誌结果逐步放大，是更稳妥的做法。