做蜘蛛池的人迟早会遇到这个疑问：入口页为了塞进更多目标 URL，模板越堆越厚，HTML 体积一路涨，结果发现排在后面的链接好像一直没被动过。到底是蜘蛛没发现，还是发现了没抓？先说结论：页面体积确实会影响链接的发现与跟进，但它不是“超过某个数字就全部失效”的开关，更常见的表现是抓取预算被吃掉、解析被截断，越靠后的内容越容易掉队。
单页 HTML 存在解析上限吗
主流搜索引擎对单个 HTML 文档都有解析上限，公开提到的量级大致在几 MB，各家数字不同且会调整，所以不必去记某个精确阈值。更值得留意的是两个经常被混淆的概念：传输大小和解压后大小。入口页开启 gzip 或 brotli 之后，解压后 2MB 的 DOM 可能只传几百 KB，但蜘蛛最终要解析的仍然是解压后的内容。只看 Network 面板里的传输体积，很容易得出“页面很轻”的错误判断。
体积失控时，最先出问题的是哪一环
- 响应超时：文件大、服务器又慢，蜘蛛在超时时间内没读完，就可能提前断开，只拿到页面的一部分。
- 抓取预算被浪费：同一批入口页如果都很重，蜘蛛花在每个页面上的资源变多，单位时间内能访问的 URL 数量就下降。
- 解析截断：就算完整下载了，超出解析上限的那段 HTML 也可能被忽略，里面的链接自然不会被提取。
这三件事常常同时发生，表现出来就是“入口页被访问了，但后面的目标 URL 在日志里一直没出现”。
哪些写法最容易把入口页撑大
- 把大段 CSS、JS 直接内联在模板里，每个入口页都重复一份；
- 用 base64 方式嵌入图片、字体或图标；
- 把几百上千条目标链接铺在同一个页面上，且不做分页或拆分；
- 在 HTML 里内联整包 JSON 数据供前端渲染；
- 模板里顺手带上的统计脚本、客服组件、第三方 SDK。
这些内容对搜索蜘蛛发现目标 URL 没有任何帮助，却实打实地占用了解析额度。
链接位置往往比链接数量更关键
即使页面没有被截断，靠后的链接在抓取优先级上通常也排在后面。同样是 200 条链接，集中堆在页脚和分散在正文前段，蜘蛛的跟进顺序和覆盖率可能完全不一样。与其纠结“一个入口页到底能放多少条”，不如先把最想被发现的 URL 放在 HTML 结构靠前的位置，正文区块优先于页脚区块。
怎么确认后面的链接有没有被抓
- 在服务器日志里按蜘蛛 UA 过滤，看它请求入口页之后，是否继续请求了页面后段的目标 URL；
- 用各站长平台的 URL 检查或抓取测试工具，查看实际抓取到的 HTML 是否完整；
- 自己抓一次入口页，统计解压后的字节数和提取到的链接条数，和预期对比。
优化时建议的顺序
- 先把 CSS、JS、图片外链化，这一步通常能砍掉一半以上的体积；
- 控制单页链接数量，把入口页拆成多个，而不是把链接都塞进一页；
- 把核心目标链接放到页面靠前的位置；
- 保持服务器响应稳定，开启压缩和缓存，避免响应时间抖动；
- 改完用日志验证，而不是凭感觉判断。
页面变轻、结构变清晰，只是让目标 URL 被发现的概率更高一些，并不能保证被收录或获得排名。蜘蛛池的作用是缩短发现路径，不是替代内容质量。
如果你现在的入口页已经堆到几百 KB 甚至几 MB，可以先挑一个做减法，对比改动前后日志里目标 URL 的命中情况，再决定要不要整体调整。多数情况下，问题不在“蜘蛛不来”，而在于来了之后没有把页面读完。