讨论蜘蛛池的时候，大家习惯把注意力放在域名、IP、链接和内容上，入口页本身的代码体量却经常被忽略。蜘蛛抓到一页，先要下载整个 HTML，再解析 DOM、抽取链接、判断正文。页面越重，这两步消耗的时间越多，而抓取资源是有限的。
抓取队列里的隐性成本
搜索引擎的抓取器按队列工作：同一站点在单位时间内能拿到的抓取额度大体固定。如果一个入口页的 HTML 有 800KB，蜘蛛下载并解析它的时间，足够处理十几个几十 KB 的轻页面。结果就是同样的抓取预算，能覆盖的 URL 变少了。
更麻烦的是超时。部分抓取器对单次请求有响应时间上限，页面越大、服务器带宽越紧张，被中断的概率越高。中断一次，这次抓取基本就浪费了。
哪些东西最容易把入口页撑大
- 把整站 CSS 和 JS 直接内联进每一个入口页；
- 用 base64 把图片、字体塞进 HTML；
- 套用带大量组件的前端框架，实际只用到几个链接；
- DOM 节点动辄上万，嵌套层级很深；
- 残留的调试代码、重复的模板注释、无用属性。
这些内容对蜘蛛识别链接没有任何帮助，却实实在在占用了下载与解析时间。
一个可以参照的量级
没有硬性标准，但经验上，蜘蛛池入口页的 HTML 控制在 100KB 以内比较舒服，能做到 30–50KB 更好；DOM 节点总数尽量别超过 2000。这只是参考值，不必为了凑数字牺牲内容。真正要守住的是：页面里的有效链接和主题内容，蜘蛛用最少的解析成本就能拿到。
精简时不要踩的坑
- 别用 JS 后置渲染正文和链接。省下来的体积，可能直接换来“内容没被抓到”。
- 别把链接藏进 iframe、注释或脚本字符串。这些位置蜘蛛通常不当作可跟进的链接。
- 别为了减重把正文删空。入口页太“薄”同样会被判定为低质量模板页。
- 外链 CSS、JS 尽量异步或延迟加载，避免阻塞首屏 HTML 的解析。
入口页在蜘蛛池里的角色是“通路”。通路越轻、越干净，蜘蛛走得越顺；但轻不等于空，保留必要的内容和链接才是前提。
怎么自查
- 用 curl -I 或浏览器开发者工具看 HTML 的传输体积和解压后体积；
- 查 DOM 节点数量与最大嵌套深度；
- 对比服务器日志里同一入口页的抓取频率变化，看体积调整后是否有改善；
- 确认关闭 JS 后，页面里仍能看到主要链接与文字。
把入口页当成一个“轻量索引页”来设计，而不是一个小型门户站。少一些装饰，多一些可被直接解析的链接，蜘蛛的抓取效率自然会好一些。这不会立刻带来收录，但它减少的是每一层都不必要的损耗。