搜尋蜘蛛抓取确實存在單頁大小上限
搜尋蜘蛛抓取一個頁面时，並不會無限量讀取。出于带宽和存储成本的考虑，主流搜尋引擎對單次抓取的 HTML 都會有一個大致的字节上限，通常在几百 KB 到 1MB 這個量級，不同引擎、不同抓取模式不完全一样。超出上限的部分，一般會被直接丢弃，既不參與正文解析，也不會用来發現連結。
對蜘蛛池入口頁来说，這带来的直接後果是：頁面後半部分的連結，可能根本没有進入待抓取队列。你在一個入口頁里放了两百條目标連結，實际被看到的也许只有前面几十條，剩下的属于白放。
哪些寫法最容易把入口頁撑大
- 把整站 CSS 和 JS 内联進每個入口頁，模板一複製，体积成倍增長；
- 用 base64 直接嵌入图片、字体图标；
- 把几百條連結一次性堆在同一個静態頁上；
- 引入了体积很大的前端框架，首屏其實只用一個按钮；
- 頁面里塞了大量空白、注释、重复的 meta 和结构化資料。
這些問题單獨看都不嚴重，叠在一起就很容易让一個入口頁從几十 KB 涨到几 MB。
連結被截断，往往先發生在這些位置
如果頁面体积确實超标，被丢掉的一般是靠後的部分。也就是说，放在頁脚、侧邊栏底部、分頁区之後的目标連結，風險最高。如果連結前面還塞了大段内联脚本或超長列表，也很容易被一起截掉。
還要注意讀取顺序的問题。即使 HTML 被完整讀取，連結被發現的先後也大致是從前到後。顶部可见区域、正文里的連結，通常比深层折叠或頁面末尾的内容更早進入抓取流程。
怎么判断自己的入口頁有没有“讀不完”
- 看服務器抓取日誌里的返回字节數，和入口頁實际文件大小對比，差异明顯就值得怀疑；
- 在站長工具里查看抓取诊断或已抓取頁面，看是否提示内容被截断；
- 把入口頁 HTML 下载下来，數一數目标連結總數，和预期的數量做比對；
- 抽查頁面在搜尋快照里的呈現，看看能看到多少條連結；
- 用抓取模拟工具限制讀取字节數，观察後面的連結是否還能出現。
把体积压下来的几個實际做法
- CSS、JS 尽量外鏈，並用构建工具压缩合並，避免每個入口頁各带一份；
- 图片使用獨立 URL，不要内联成大段 base64；
- 入口頁的連結列表做分頁或分组，單頁連結數量控制在合理范围；
- 把重要的目标連結尽量放在 HTML 靠前的位置；
- 删掉模板里用不到的重复 meta 和冗余结构。
這些改動看起来琐碎，但通常能把入口頁体积压到原来的几分之一，連結被讀到的概率會明顯提升。
分頁和 sitemap 是稳妥的兜底
如果入口頁本身承载的連結确實很多，與其把体积堆到极限，不如拆成多個入口頁，再用分頁導航把它們串起来。同时把目标 URL 單獨整理進 sitemap 提交，這样即使某個入口頁被抓取时被截断，目标 URL 仍然有另一條被發現的路。
需要說明的是，這些做法只是降低“連結讀不到”的概率。目标 URL 能不能被抓取、能不能被收錄，還取决于它的可訪問性、内容质量以及站点整体情况，不存在把体积压小就一定會被抓取的因果關系。
入口頁的第一目标是让搜尋蜘蛛顺畅讀完並發現連結。体积越轻、連結越靠前，出問题的概率就越低。