蜘蛛池入口页承担的任务很单一：让搜索蜘蛛在抓取入口页的时候，顺带把目标 URL 放进待抓队列。但“链接写在源码里”和“搜索蜘蛛真的看到了这个链接”，中间还隔着页面能不能被完整解析这一层。HTML 体积和链接出现的位置，是这层里最容易被忽略的两个变量。

一、HTML 体积：解析是有上限的

搜索引擎对单个 HTML 文档都有处理上限，超过一定大小之后的内容不保证会被解析（常见说法在 2MB 上下，不同引擎口径不完全一致）。入口页如果塞进大量内联样式、内联脚本、base64 图片或者几万行的列表，链接即使在源码里，也可能正好落在“不保证处理”的那一段。

• 入口页 HTML 尽量控制在几百 KB 以内，能精简就精简。
• 内联脚本和样式改成外链引用，或者至少做压缩合并。
• 要引导的链接放在文档靠前的位置，不要埋在长列表之后。
• 开启 gzip 或 brotli 压缩，传输体积和解析体积是两件事，但都值得做。

体积不是越小越玄学，核心是别让目标链接出现在解析不到的位置。

二、链接位置：正文、侧栏、页脚有差别

从 URL 发现的角度看，只要链接在可解析的 HTML 里，理论上都有机会被跟进。但从抓取优先级看，搜索蜘蛛对页面不同区域的重视程度并不一样：正文里的链接最容易被当作页面主体的一部分去跟进，页脚和侧栏里成排的重复链接，则更容易被识别成模板内容。

• 把要引导的链接写进正文段落，而不是只丢在页脚导航里。
• 一个入口页里铺的链接数量别太多，几十个以内更稳妥，几百个容易互相稀释。
• 页脚只保留少量全站导航，不要把所有目标 URL 都堆进去。
• 多个入口页之间，链接出现的位置可以有差异，不必完全套同一个模板。

三、链接写法要保证能被解析

最稳的写法仍然是标准的 a 标签加完整的绝对 URL。JS 动态插入、图片跳转、纯文本 URL、残缺的 href，都会让“链接存在”变成“链接不可解析”。入口页不需要花哨，能被直白读懂就够了。

四、怎么确认是否真的生效

想验证体积和位置有没有拖后腿，可以按下面的顺序核对：

1. 在服务器日志里筛出入口页的搜索蜘蛛访问记录，确认入口页本身被抓了。
2. 看同一批访问里，搜索蜘蛛有没有进一步请求目标 URL。
3. 用搜索引擎自带的 URL 检查或抓取测试工具，看看抓取到的 HTML 里链接是否完整。
4. 如果入口页被抓但目标 URL 一直没动静，再回头检查 HTML 体积和链接位置。

要注意的是，日志里能看到蜘蛛请求入口页，不代表它一定会读完整个文档；抓取工具抓到的结果，和真实蜘蛛看到的也未必完全一致，两者结合起来看更可靠。

五、别把这两个变量当成收录开关

HTML 体积和链接位置只影响一件事：蜘蛛能不能顺利看到你铺的链接。看到之后，还有抓取队列的排队、目标页自身的内容质量、站点整体的抓取预算等环节。把入口页整理干净是必要的，但它解决的是“发现”，解决不了“收录”和“排名”。

入口页做的是把门打开，进不进来、进来之后待多久，是后面的事。

六、把它们固化成入口页的检查项

• 页面源码体积：是否因为内联资源被撑到大几百 KB 以上。
• 链接位置：目标链接是否出现在正文前部，而不是只在页脚。
• 链接数量：单页是否堆了过多链接，导致重要链接被稀释。
• 可解析性：链接是否为标准 a 标签加绝对 URL。
• 日志核对：蜘蛛是否先抓入口页、再请求目标 URL。

这五项做完，至少能排除“链接明明写了却没被看到”这一类问题，剩下的就交给抓取队列和站点本身的积累了。