做蜘蛛池入口頁时，一個常见的顾虑是：為了把目标 URL 尽量多地铺出去，入口頁越做越長，一頁塞進几百上千條連結。這时候就會担心——搜尋蜘蛛到底會不會把整頁讀完，還是讀到一半就走了，後面的連結根本没被發現。
没有公布的硬性体积上限
搜尋引擎官方並没有给出“HTML 超過多少 KB 就停止解析”這類具体數字。能确定的是：抓取器每次請求都有下载预算，如果文档特別大，比如几 MB 且大部分是無意义的重复代碼，抓取器有可能只取到前面一段就結束這次下载。這種情况下，排在後面的超連結确實存在被忽略的可能。
另一個容易被忽略的点是，真正占体积的往往不是連結本身，而是内联的 CSS、JS、base64 图片和重复的模板代碼。把連結挤到 HTML 末尾，本质上是在赌抓取器愿意讀到最後一行。
連結數量：更關键的是“值不值得跟”
即使整頁被完整下载，解析出来的連結也不會被同等對待。一頁里出現成百上千個指向不同站点的出鏈，通常會被判断為低质量的連結集中頁，抓取器可能只挑選其中一部分跟進，甚至對整頁做降權處理。
- 連結来源單一、全站同一套模板，容易被整体打折
- 出鏈域名過于分散、與頁面内容無關，被跟進的概率更低
- 頁面本身没有可讀内容，只有一堆連結，容易被归為連結頁
一頁放多少條比較稳
没有放之四海皆准的數字，但可以按下面几條经驗来控制：
- 入口頁以“内容 + 少量連結”為主，連結控制在几十條以内相對自然
- 不要把同一目标 URL 在一頁里重复多次，通常不會增加被發現的机會
- 連結放在正文区域、有上下文的位置，比堆在頁脚更合理
- 整個 HTML 尽量控制在几百 KB 以内，超出的部分先检查是不是模板冗余
連結确實多，可以這样拆
- 按主题或栏目分頁，每個頁面只承载一组連結
- 做分层入口：一級入口頁放少量連結指向二級入口頁，再由二級入口頁指向目标 URL
- 配合 sitemap 提交，让目标 URL 多一條超連結之外的發現渠道
- 把長頁面里靠後的連結前移，或者直接拆成多個獨立頁面
怎么確認有没有漏抓
不要靠猜，可以结合几項資料来判断：
- 看服務器日誌里搜尋蜘蛛對入口頁的請求量、返回狀態碼和响應大小
- 對比入口頁上寫明的連結數與日誌里目标 URL 實际被訪問的次數
- 查看目标 URL 的“已發現未抓取”狀態持續了多長時間
- 抽查若干目标 URL，確認它們是否存在其他被發現路径
入口頁的职责是把 URL 暴露出去，而不是一次性把所有 URL 都推完。頁面越大、連結越密，單條連結被跟進的概率通常越低，在抓取配額有限时尤其明顯。
總结一句：搜尋蜘蛛漏掉靠後的連結，通常不是因為某個神秘的上限，而是因為頁面太大、連結太密、内容太薄，導致整頁的抓取價值被判定得很低。把入口頁做小、做散、做出可讀内容，比單纯堆連結數量更接近目标。