很多站点把抓取問题归因于權重、外鏈或者更新频率，却忽略了一個更基础的變量：你交给蜘蛛的那個頁面本身有多重。抓取是有成本的，只是這份帳單不记在你的服務器上。

抓取的成本由什么构成

蜘蛛從你的服務器取走一個頁面，要消耗带宽、连接時間、HTML 解析時間，之後還要進入渲染队列等待执行。對搜尋引擎来说，這些资源總量有限，需要在全網的 URL 之間分配。所以頁面越重，在同样的抓取額度下能覆盖的 URL 就越少。這不是惩罚，而是资源分配的自然结果。

HTML 体积：先看服務器實际吐出了多少字节

很多頁面在浏览器里看起来清爽，查看源代碼却發現体积惊人。常见的体积来源包括：

• 把 CSS 和 JS 全部内联在 HTML 里，尤其是构建工具預設内联的小文件积少成多
• base64 编碼的图片、图标字体直接寫進 HTML
• 用脚本标簽塞進大段 JSON，比如首屏資料、埋点配置、模板片段
• 導航、頁脚、推荐位在每頁重复輸出，几十個 URL 就多出几十份副本
• 没有開啟 gzip 或 brotli 压缩传輸

這些内容不會直接導致抓取失敗，但會让每次抓取付出的字节數變多。如果站点有几萬甚至几十萬個 URL，這個差距會被成倍放大。

DOM 节点數與渲染成本

HTML 只是第一步。蜘蛛最终需要拿到渲染後的頁面，才能看到由 JS 生成的連結和内容。DOM 节点越多，渲染耗时越長，出問题的概率也越高。

• 首屏之外的模块也全部直出，节点數動辄破萬
• 用层层嵌套的容器做布局，一层包裹一层
• 無限滚動列表一次性挂载上千條记錄

渲染是有超时限制的。一個頁面在渲染队列里耗的時間越長，同一批次里能處理完的頁面就越少，部分連結甚至可能在渲染完成前就被截断，蜘蛛根本没机會看到。

連結密度：路标太多，每條都不顯眼

頁面里的連結數量同样影响發現效率。導航、面包屑、相關推荐、标簽云、最新文章、热门排行全部堆上去，一個列表頁能出几百上千條連結。蜘蛛會走，但每條連結能分到的關注度被稀释，真正重要的詳情頁反而淹没在噪声里。

更麻烦的是篩選參數、排序參數、會话參數混在其中，一次抓取就衍生出大量语义重复的 URL，把額度消耗在無價值的组合上。

怎么判断自己的頁面算不算重

1. 查看源代碼体积，和同類型站点的同類頁面比一比，差距通常在數倍以上
2. 用開發者工具統計 DOM 节点總數，列表頁控制在两千以内相對從容
3. 數一數頁面内實际可点的連結數量，導航加正文加推荐合計別失控
4. 確認是否開啟压缩传輸，HTML 是否被 CDN 合理缓存
5. 從訪問日誌看蜘蛛的抓取間隔與單頁响應時間，判断是否被体积拖慢

瘦身動作的優先顺序

• 開啟压缩传輸，把内联的大段資料挪到异步接口
• 图片改用外鏈引用，不要 base64 内联進 HTML
• 列表頁控制單頁條目數，用分頁替代一次性直出
• 推荐位、标簽云這類模块延迟加载，但保留主要連結在初始 HTML 中可被抓取
• 减少無意义的嵌套容器，能一层解决的不要三层

別走极端

頁面瘦身的目标是让蜘蛛用同样的成本看到更多有效内容，而不是把頁面砍到只剩骨架。正文、必要的導航和内鏈是抓取的基础，不能為了追求体积指标而牺牲。体积只是抓取效率的一個维度，内容质量、更新节奏、服務器稳定性同样參與决定蜘蛛愿意来多勤。

比較稳妥的做法是定期回看日誌和抓取資料，找出那些体积異常、連結異常密集的模板，優先處理占比最高的那几類頁面，而不是逐個手工修改。