很多人在搭蜘蛛池时，把注意力放在域名数量、IP 分散和链接结构上，却忽略了一个很基础的问题：入口页本身有多重。蜘蛛每次抓取一个 URL，能投入的时间、连接数和带宽都是有限的，页面越重，单位时间内走完的 URL 就越少，URL 发现的效率也跟着往下掉。
蜘蛛抓取一个页面的成本是怎么算的
从蜘蛛的视角看，抓一个 URL 要经历 DNS 解析、建立连接、等待首字节、下载 HTML、解析并继续拉取页面里引用的资源。其中真正影响“能抓多少页”的，主要是三段时间：等待响应的时间、下载正文的时间，以及解析时额外触发的资源请求。
入口页的职能通常只有一个：把 URL 暴露给蜘蛛。它不需要像内容页那样承载图文、视频和交互。如果入口页的 HTML 里塞了几百 KB 的正文、内联了几十 KB 的 CSS 和 JS，蜘蛛大部分时间花在传输和解析上，能覆盖的入口页数量就会明显减少。
几个容易被忽略的重量来源
- 内联样式与脚本：为了省一次请求，把整站 CSS、JS 内联进 HTML，单页体积反而更大。
- 未压缩的输出：没有开启 gzip 或 brotli，纯文本 HTML 也可能传输几百 KB。
- 大量外链资源：图片、字体、统计脚本挂在第三方域名上，蜘蛛可能去拉取，至少也会消耗解析时间。
- 靠 JS 渲染的链接：链接如果只在浏览器执行脚本后才出现，蜘蛛未必会等。
响应耗时和体积，哪个更值得先处理
两者都会影响抓取效率，但优先级不同。响应耗时决定了蜘蛛在连接上等待多久，如果服务器经常几百毫秒到几秒才吐第一个字节，蜘蛛可能提前断开或降低抓取频率。体积则决定了下载阶段要花多久。
实际排查时，可以先看访问日志里同一入口页的抓取间隔和返回的字节数，再结合服务端的响应时间。如果日志里出现大量请求之后没有后续动作，通常不是内容问题，而是响应太慢或页面太重。
判断入口页是否“轻”的标准，不是它看起来简不简洁，而是蜘蛛从发起请求到拿到链接，总共花了多少时间和流量。
落地的几条做法
- 把入口页的 HTML 控制在几十 KB 以内，能静态输出就静态输出。
- 链接直接写在 HTML 里，避免依赖 JS 渲染或异步接口返回。
- 开启 gzip 或 brotli，去掉无用的注释、内联脚本和空标签。
- 图片、字体等非必要资源尽量不在入口页引用，需要时也控制数量。
- 观察首字节时间，长期偏高的机器考虑换节点或优化后端，而不是一味加域名。
用日志验证效果
调整之后不要只看感觉。可以对比调整前后一段时间内，蜘蛛对入口页的抓取次数、平均响应时间、单页返回字节数，以及从入口页继续爬取的链接比例。如果抓取次数上升、单页体积下降、后续爬取比例提高，说明方向是对的。
需要说明的是，轻量化只是把抓取的门槛降低，它不能让蜘蛛一定收录，也不影响最终的索引和排名判断。它解决的是蜘蛛愿不愿意来、来一次能看多少的问题，属于基础设施层面的优化。