很多人在搭蜘蛛池时，把注意力放在域名數量、IP 分散和連結结构上，却忽略了一個很基础的問题：入口頁本身有多重。蜘蛛每次抓取一個 URL，能投入的時間、连接數和带宽都是有限的，頁面越重，單位時間内走完的 URL 就越少，URL 發現的效率也跟着往下掉。
蜘蛛抓取一個頁面的成本是怎么算的
從蜘蛛的视角看，抓一個 URL 要经歷 DNS 解析、建立连接、等待首字节、下载 HTML、解析並繼續拉取頁面里引用的资源。其中真正影响“能抓多少頁”的，主要是三段時間：等待响應的時間、下载正文的時間，以及解析时額外触發的资源請求。
入口頁的职能通常只有一個：把 URL 暴露给蜘蛛。它不需要像内容頁那样承载图文、视频和交互。如果入口頁的 HTML 里塞了几百 KB 的正文、内联了几十 KB 的 CSS 和 JS，蜘蛛大部分時間花在传輸和解析上，能覆盖的入口頁數量就會明顯减少。
几個容易被忽略的重量来源
- 内联样式與脚本：為了省一次請求，把整站 CSS、JS 内联進 HTML，單頁体积反而更大。
- 未压缩的輸出：没有開啟 gzip 或 brotli，纯文本 HTML 也可能传輸几百 KB。
- 大量外鏈资源：图片、字体、統計脚本挂在第三方域名上，蜘蛛可能去拉取，至少也會消耗解析時間。
- 靠 JS 渲染的連結：連結如果只在浏览器执行脚本後才出現，蜘蛛未必會等。
响應耗时和体积，哪個更值得先處理
两者都會影响抓取效率，但優先級不同。响應耗时决定了蜘蛛在连接上等待多久，如果服務器经常几百毫秒到几秒才吐第一個字节，蜘蛛可能提前断開或降低抓取频率。体积則决定了下载阶段要花多久。
實际排查时，可以先看訪問日誌里同一入口頁的抓取間隔和返回的字节數，再结合服務端的响應時間。如果日誌里出現大量請求之後没有後續動作，通常不是内容問题，而是响應太慢或頁面太重。
判断入口頁是否“轻”的标准，不是它看起来简不简洁，而是蜘蛛從發起請求到拿到連結，總共花了多少時間和流量。
落地的几條做法
- 把入口頁的 HTML 控制在几十 KB 以内，能静態輸出就静態輸出。
- 連結直接寫在 HTML 里，避免依赖 JS 渲染或异步接口返回。
- 開啟 gzip 或 brotli，去掉無用的注释、内联脚本和空标簽。
- 图片、字体等非必要资源尽量不在入口頁引用，需要时也控制數量。
- 观察首字节時間，長期偏高的机器考虑換节点或優化後端，而不是一味加域名。
用日誌驗證效果
調整之後不要只看感觉。可以對比調整前後一段時間内，蜘蛛對入口頁的抓取次數、平均响應時間、單頁返回字节數，以及從入口頁繼續爬取的連結比例。如果抓取次數上升、單頁体积下降、後續爬取比例提高，說明方向是對的。
需要說明的是，轻量化只是把抓取的门槛降低，它不能让蜘蛛一定收錄，也不影响最终的索引和排名判断。它解决的是蜘蛛愿不愿意来、来一次能看多少的問题，属于基础设施层面的優化。