做蜘蛛池和站点运营时，经常遇到这种情况：入口页在日志里明明有搜索蜘蛛访问记录，返回码也是 200，但入口页上挂的一部分目标 URL 始终没有出现抓取记录。很多人第一反应是链接位置不对、被 robots 屏蔽了，其实还有一个容易被忽略的因素——页面响应太慢，搜索蜘蛛没抓完就走了。
搜索蜘蛛抓一个页面，是有预算的
搜索引擎抓取任何一个 URL，都要消耗它自己的带宽、解析和服务资源。所以搜索蜘蛛不会在一个页面上无限等待。当你把页面做得又大又慢，或者服务端首字节时间（TTFB）很长，搜索蜘蛛可能在读到你那批目标链接之前就断开了连接。这种情况下，日志里会留下一次访问记录，但页面靠后的链接并没有被解析出来。
这不等于搜索引擎在惩罚你，只是抓取预算被消耗在了等待上。
哪些情况最容易被“抓到一半就走”
- 首字节时间过长：数据库慢查询、接口阻塞、后端串行调用。
- 页面体积过大：几十万行 HTML，内联了完整 CSS 和 JS。
- 关键链接放在页面最后：前面的内容已经耗掉了大部分抓取资源。
- 大量外部资源加载：统计脚本、字体、广告位，虽然是浏览器行为，但会拖慢整体可用性。
- 入口页挂了一串跳转，每跳一次都在消耗时间。
- 服务器对搜索蜘蛛的并发限制过严，响应排队后直接超时。
链接位置确实会影响发现顺序
搜索蜘蛛大多是边下载边解析 HTML。链接出现在文档越靠前的位置，被解析到的概率越高；放在页脚、翻页区，或者由 JavaScript 后置渲染出来的链接，相对更容易被截断。所以做入口页时，别把核心的目标链接全堆在底部导航里。
同时也要注意，正文堆得太长、无关内容太多，等于人为提高了解析成本。入口页的价值是让链接被发现，不是写一篇长文。
怎么确认是不是漏抓
- 查服务器日志，按入口页 URL 统计响应时间和返回码，看是否存在 4xx、5xx 或超时记录。
- 统计入口页上目标链接的总数，再对比日志中这些目标 URL 的抓取次数，看差了多少。
- 换个时间段再看一次：如果每次都是靠后的链接没被抓，基本可以判断是解析中断。
- 用抓取工具或 curl 模拟一次请求，看完整下载耗时和实际返回的 HTML 长度。
可以做的优化
- 把 TTFB 压下来：加缓存、优化查询、减少后端串行调用。
- 压缩 HTML，去掉不必要的内联资源和注释。
- 把最重要的目标链接放在页面靠前位置。
- 入口页拆小，一页链接数量适中，宁可分几页，也不要一页塞满。
- 保证稳定返回 200，避免瞬时超时导致整次抓取失败。
- 入口页不需要复杂前端渲染，服务端直出 HTML 最稳妥。
几个常见误区
常见误区：日志里有搜索蜘蛛访问，就以为入口页上所有链接都被发现了；返回 200，就以为蜘蛛一定读完了整页；链接越多，发现机会越大，于是不断加量。
实际上，抓取是被预算约束的行为，加量不等于增效，反而可能让本来能被抓到的链接也一起被拖慢。
写在最后
入口页响应速度是 URL 发现链路里最基础的一环。先把页面做快、做小、把链接放对位置，再谈数量，通常比单纯堆链接更有效。需要注意的是，任何优化都只是提高被发现的概率，无法保证收录或排名，最终结果仍取决于搜索引擎自己的判断。