搜索蜘蛛抓取确实存在单页大小上限
搜索蜘蛛抓取一个页面时，并不会无限量读取。出于带宽和存储成本的考虑，主流搜索引擎对单次抓取的 HTML 都会有一个大致的字节上限，通常在几百 KB 到 1MB 这个量级，不同引擎、不同抓取模式不完全一样。超出上限的部分，一般会被直接丢弃，既不参与正文解析，也不会用来发现链接。
对蜘蛛池入口页来说，这带来的直接后果是：页面后半部分的链接，可能根本没有进入待抓取队列。你在一个入口页里放了两百条目标链接，实际被看到的也许只有前面几十条，剩下的属于白放。
哪些写法最容易把入口页撑大
- 把整站 CSS 和 JS 内联进每个入口页，模板一复制，体积成倍增长；
- 用 base64 直接嵌入图片、字体图标；
- 把几百条链接一次性堆在同一个静态页上；
- 引入了体积很大的前端框架，首屏其实只用一个按钮；
- 页面里塞了大量空白、注释、重复的 meta 和结构化数据。
这些问题单独看都不严重，叠在一起就很容易让一个入口页从几十 KB 涨到几 MB。
链接被截断，往往先发生在这些位置
如果页面体积确实超标，被丢掉的一般是靠后的部分。也就是说，放在页脚、侧边栏底部、分页区之后的目标链接，风险最高。如果链接前面还塞了大段内联脚本或超长列表，也很容易被一起截掉。
还要注意读取顺序的问题。即使 HTML 被完整读取，链接被发现的先后也大致是从前到后。顶部可见区域、正文里的链接，通常比深层折叠或页面末尾的内容更早进入抓取流程。
怎么判断自己的入口页有没有“读不完”
- 看服务器抓取日志里的返回字节数，和入口页实际文件大小对比，差异明显就值得怀疑；
- 在站长工具里查看抓取诊断或已抓取页面，看是否提示内容被截断；
- 把入口页 HTML 下载下来，数一数目标链接总数，和预期的数量做比对；
- 抽查页面在搜索快照里的呈现，看看能看到多少条链接；
- 用抓取模拟工具限制读取字节数，观察后面的链接是否还能出现。
把体积压下来的几个实际做法
- CSS、JS 尽量外链，并用构建工具压缩合并，避免每个入口页各带一份；
- 图片使用独立 URL，不要内联成大段 base64；
- 入口页的链接列表做分页或分组，单页链接数量控制在合理范围；
- 把重要的目标链接尽量放在 HTML 靠前的位置；
- 删掉模板里用不到的重复 meta 和冗余结构。
这些改动看起来琐碎，但通常能把入口页体积压到原来的几分之一，链接被读到的概率会明显提升。
分页和 sitemap 是稳妥的兜底
如果入口页本身承载的链接确实很多，与其把体积堆到极限，不如拆成多个入口页，再用分页导航把它们串起来。同时把目标 URL 单独整理进 sitemap 提交，这样即使某个入口页被抓取时被截断，目标 URL 仍然有另一条被发现的路。
需要说明的是，这些做法只是降低“链接读不到”的概率。目标 URL 能不能被抓取、能不能被收录，还取决于它的可访问性、内容质量以及站点整体情况，不存在把体积压小就一定会被抓取的因果关系。
入口页的第一目标是让搜索蜘蛛顺畅读完并发现链接。体积越轻、链接越靠前，出问题的概率就越低。