先说结论：發現和抓取不是一回事
入口頁放几百條連結，是蜘蛛池里很常见的做法。不少人預設只要連結寫在 HTML 里，搜尋蜘蛛就會顺着一條條全抓走。實际過程更接近「先记下来，再分批抓」：搜尋蜘蛛抓到入口頁後，會把頁面上的連結提取出来放進待抓队列，但队列里的 URL 不會在這轮抓取里全部消費掉，而是根據站点抓取表現、頁面质量、連結位置等因素，按優先級慢慢消化。
所以「全抓」和「只抓一部分」都不算准确。短期看，一次抓取通常只覆盖其中一部分；長期看，如果頁面抓取正常、目标 URL 也没有異常，剩余部分有机會被陆續抓到，但具体能抓到多少、多久消化完，搜尋引擎不會给出承诺。
影响抓取量的几個因素
- 入口頁本身的價值：内容是否稳定、是否有實质信息、是否長期只有一堆連結。
- 服務器表現：响應慢、频繁超时或返回 5xx，會拉低對整站的抓取意愿。
- 連結是否重复：同一個目标 URL 在一頁里出現多次，通常按一次計算。
- 連結是否能被解析：靠 JS 輸出、寫成图片或特殊字符，容易被直接漏掉。
- 站点抓取額度：同一個域名下的抓取量是共享的，入口頁占多了，其他頁面就少。
一頁放多少連結比較稳妥
没有官方阈值。實践中，几十條到一两百條属于相對可控的范围；一頁堆上千條，即便入口頁被抓，也容易被当作低價值頁面處理，消耗抓取額度但收益有限。如果确實需要覆盖很多目标 URL，更實用的做法是分頁或分层：
- 主入口頁只保留最重要的少量連結；
- 其余連結分散到二級、三級頁面；
- 每一层都保證能被正常抓取、返回 200；
- 用 sitemap 做补充提交，而不是把压力全压在一頁上。
怎么判断搜尋蜘蛛到底抓了多少
不要因為看到入口頁被訪問過，就認為里面的連結都被抓了。比較可靠的方式還是看服務器日誌：
- 入口頁被請求的次數與频率是否稳定；
- 目标 URL 的訪問记錄里，有没有對應蜘蛛的 UA；
- 請求是否集中在少數几個 URL 上；
- 响應狀態碼里 4xx、5xx 的占比有多高。
如果日誌里只有入口頁反复被抓，目标 URL 几乎没出現，問题往往不在「連結數量」本身，而在這批 URL 的優先級排序和站点整体抓取額度上。
几個容易踩的誤区
有人靠一頁堆几千條連結来「冲量」，短期可能看到入口頁被抓得勤，但目标 URL 的抓取並没有同步增長，反而容易让整站被判成低质量頁面。也有人一發現没抓完就频繁調整連結位置，頁面结构反复變化，搜尋蜘蛛每次来都要重新判断，進度反而更慢。稳定的结构加上稳定的抓取表現，比反复折腾更有效。
一句话總结：入口頁的作用是让搜尋蜘蛛發現 URL，而不是替它把 URL 抓完。控制單頁連結規模、保證頁面能被正常抓取，比單纯堆數量更實际。
小结
一頁放几百條連結，搜尋蜘蛛通常不會一次抓完，而是分批處理，能抓多少取决于站点抓取表現、URL 優先級和頁面结构是否稳定。把連結拆到多頁、保證响應正常、用日誌观察真實抓取情况，再回头調整規模，比一味往里加連結更容易看出效果。