在蜘蛛池和站点运营的讨论里，经常能看到一种说法：入口页 HTML 只要超过某个大小，搜索蜘蛛就会停止解析，后半部分的链接等于白放。这个说法有依据，但被简化得太多，容易让人把精力用错地方。
解析上限确实存在，但通常离你很远
主流搜索引擎在解析 HTML 时确实会设置处理上限，超出部分可能不会被用于提取链接。公开资料和实测经验给出的量级大多落在几百 KB 到 2 MB 之间，不同引擎、不同抓取方式并不一致。关键在于：绝大多数蜘蛛池入口页只有几十 KB，几段文字加十来条链接，远远够不到这个量级。
所以当你发现入口页里的链接没有被跟进时，先别急着把锅甩给“体积太大”，排查顺序应该反过来——先确认源码里到底有没有这个链接。
真正容易让链接“消失”的几种情况
- 字符编码声明错误。声明为 UTF-8 实际用 GBK 输出，中文路径或部分标签会被解析成乱码，链接属性可能整段失效。
- 标签未闭合。尤其是一个没关掉的 div 或 a 嵌套错乱，解析器可能直接跳过一大块内容，视觉上正常但源码里链接已经不属于文档主体。
- 链接不在源码里。写在 HTML 注释中、靠 JavaScript 动态插入、或者放在被脚本覆盖的占位容器里，原始 HTML 中根本看不到地址。
- 体积被无关内容撑大。首屏塞进大量 base64 图片、内联 SVG、完整的 CSS 和字体文件，链接本身没几条，文件却涨到几百 KB。
这些原因里，只有最后一条和体积直接相关，而且真正的问题往往不是“超限被截断”，而是入口页变得臃肿、加载变慢，间接影响抓取效率。
自查顺序建议
- 用抓取工具取原始 HTML，而不是浏览器渲染后的 DOM，确认目标链接在源码中确实存在。
- 分别看 gzip 后的传输体积和完整 HTML 的字节数，两者差距可以反映是否堆了大量内联资源。
- 做一次 HTML 结构校验，重点看未闭合标签和嵌套错误。
- 数一下入口页的有效链接数量，判断是不是链接太密、正文太薄。
- 把入口页分页或拆成多个层级，让每个页面承担有限的链接量。
入口页体积怎么控制
与其纠结几百 KB 的阈值，不如把入口页做得干净：链接用普通的 a 标签写在可解析的正文区域，剔除和跳转无关的装饰性资源，把重复的模板结构收敛掉。一个几十 KB、结构清晰、能正常返回 200 的入口页，比一个塞满内容却结构混乱的页面更容易被稳定抓取。
体积小不等于一定被跟进，体积大也不等于一定被截断。入口页可访问、结构清楚、链接明确，比死磕解析上限更有实际意义。
最后提醒一句：入口页只是发现 URL 的起点，能不能被收录还是取决于目标页本身的质量、可访问性和内容状态。把入口页理顺之后，问题往往出在目标站那一侧，这时候就该去查目标页的响应、内容和站内结构了。