很多人把入口页当成一个普通网页来设计，加上统计、轮播、客服浮窗，结果页面越来越重。但蜘蛛来抓的时候，真正拿到手的只有服务器返回的那段 HTML。
蜘蛛读的是源码，不是设计稿
大部分搜索引擎蜘蛛请求入口页时，先解析的是 HTML 源码里的文本与链接；是否执行 JavaScript、能不能渲染出完整页面，取决于蜘蛛类型和自身渲染能力。国内多数的抓取以源码为主，这意味着入口页真正的“内容”，就是 HTML 里写了什么、链接放在哪。
不过这并不代表资源加载可以忽略。外链的 CSS、JS、图片、字体都会产生额外请求，占用服务器并发与带宽，间接拉长响应时间，而响应时间恰恰是蜘蛛是否愿意继续抓的一个现实因素。
三类资源各自的影响
HTML 体积
- 模板堆砌、注释冗余、内联大量数据，会让单页 HTML 膨胀到几百 KB 甚至更大。
- 蜘蛛对单页抓取存在大小上限，超出部分可能被截断；如果截断的位置正好是链接区，链接就等于没写。
- 建议把主要链接放在 HTML 前半段，控制整体体积，别让链接藏在深层嵌套里。
外链脚本与样式
- 每一个外链文件都是一次额外请求，第三方统计、广告、客服 SDK 往往还带多级依赖。
- 入口页不需要交互，与“被发现”无关的脚本可以直接去掉；必要的少量样式内联或合并成一个文件即可。
图片与字体
- 大图、外链字体文件对入口页几乎没有价值，只会消耗带宽。
- 用纯文本链接、小图标，或者干脆不放图，把资源留给 HTML 本身和蜘蛛的请求。
抓取预算和带宽是同一笔账
蜘蛛池入口页数量多、更替频繁，抓取预算和服务器资源都是有限的。渲染重、请求多的页面会让蜘蛛在这一页停留更久，单次抓取能覆盖的 URL 更少；服务器侧的并发被资源请求占掉，HTML 响应变慢，蜘蛛可能超时或主动降低频次。
入口页的目标不是好看，而是被快速读懂，并沿着链接继续往下走。
一份可落地的瘦身清单
- 主要链接放在 HTML 前 30%~40% 的位置，避免埋进多层嵌套。
- 移除第三方统计、广告、客服脚本，需要统计就去看服务端日志。
- CSS 内联或合并为一个小文件，JS 能不用就不用。
- 图片只在必要时使用，压缩到几 KB，或用文字代替。
- 避开 iframe、视频、地图这类重组件。
- 检查入口页到目标页之间是否存在多级跳转，每多一层就多一次失败概率。
- 入口页本身返回 200，不要用重定向来替代内容。
怎么确认页面真的轻了
用 curl 或抓取工具看单页返回的 HTML 大小、请求数量和首字节时间；再对照蜘蛛日志里的抓取间隔与返回状态。如果日志显示蜘蛛在同一入口反复抓取却不往深处走，除了检查链接结构，也值得看一眼页面本身是不是太重。
入口页的本质是一条通道，通道越窄越堵，蜘蛛越容易转身离开。把它做薄，是把抓取预算花在目标页上最直接的方式之一。