入口页是蜘蛛池里用来让搜索蜘蛛发现目标 URL 的页面。为了让搜索蜘蛛多爬几条，有人会把几百上千个链接、内联脚本、样式、甚至 base64 图片全塞进同一份 HTML。页面越写越大，问题就来了：搜索蜘蛛会不会只抓前面一段，后面没抓到的链接等于白放？
搜索蜘蛛抓 HTML 时有没有大小上限？
多数搜索引擎在抓取和解析 HTML 时，会对单个响应体设置一个处理上限。常见说法是 Google 大约处理前 2MB 的 HTML，超过部分可能不再解析；其他搜索引擎也有类似机制，但具体数值和触发条件并不完全公开，也会随抓取端、页面类型和压缩方式变化。可以确定的是：搜索蜘蛛不是无限量下载并解析你的页面，响应体越大，后半部分被忽略的风险越高。
哪些内容最容易把目标 URL 挤到后面？
- 内联脚本和样式：把整站 JS、CSS 直接写进入口页，几行代码就可能占几十 KB。
- base64 图片和字体：一张小图转成 base64 后体积会膨胀，字体文件更明显。
- 重复的导航和页脚：每个入口页都复制同一套菜单，链接没多几个，体积先上去了。
- 大量注释、空白和格式化标签：对用户不可见，但会实实在在增加 HTML 长度。
- 超长链接列表：为了堆 URL，把链接集中放在页面底部，恰好最容易被截断。
搜索蜘蛛只抓一半时，会发生什么？
如果目标 URL 的链接刚好在被截断的位置之后，搜索蜘蛛这次抓取就不会发现它。日志里可能看到入口页返回 200，抓取状态正常，但响应字节数明显小于文件实际大小，或者搜索蜘蛛后续没有再请求页面后半段的链接。另一种情况是页面前半段已经发现了一批链接，搜索蜘蛛按自己的节奏继续抓，剩下那一批则要等下次抓取或永远等不到。
怎么判断入口页有没有被截断？
- 在服务器日志里筛出搜索蜘蛛的抓取记录，重点看入口页的响应大小和状态码。
- 把日志里的响应大小与页面保存后的实际 HTML 大小对比，差距过大时优先怀疑截断或传输层压缩。
- 用搜索蜘蛛模拟工具或抓取测试工具查看它实际解析到的链接，确认目标 URL 是否出现在解析结果里。
- 把目标链接临时移到页面顶部，再观察后续抓取日志里是否出现对该目标 URL 的请求。
入口页瘦身的几个实用做法
- 把最重要的目标链接放在 HTML 前部，不要全堆在页脚。
- 脚本、样式尽量外链，并用压缩后的版本；入口页只保留必要结构。
- 去掉 base64 图片和内联字体，改用普通图片文件或纯文本占位。
- 压缩 HTML，删除无用注释和多余空白，但不要为了压缩破坏可读性。
- 控制单页链接数量，链接特别多时拆成多个入口页或分页。
- 用 sitemap 直接提交目标 URL，给搜索蜘蛛多一条发现路径，而不是只依赖入口页的正文链接。
链接确实很多时，怎么组织更稳？
如果目标 URL 数量很大，不建议把所有链接压进一个页面。可以按主题、目录或时间拆成多个入口页，每个页面只保留一组核心链接，并让这些链接尽量靠前。分页之间用普通链接串联，保证搜索蜘蛛能从一页走到下一页。对于重点 URL，可以在 sitemap 里单独列出，再配合入口页做交叉发现。
页面体积小、链接靠前，只能降低“因为截断而漏掉链接”的概率，并不等于目标 URL 一定会被收录。抓取和索引是两回事，搜索蜘蛛发现了 URL，后面还要看目标页自身质量和站点整体情况。
回到最初的问题：入口页 HTML 体积太大时，搜索蜘蛛确实可能只处理前面一部分，后面的目标 URL 就有被漏掉的风险。与其纠结具体上限是多少，不如把入口页当成普通页面来优化：减少无关内容、把重要链接前置、用分页和 sitemap 分担发现任务。做完这些，再用日志去验证搜索蜘蛛到底抓到了什么，比凭感觉堆链接更可靠。