做蜘蛛池的人经常遇到一种页面：HTTP 状态码是 200，title 也有，但正文只有几行模板文字、几个导航链接和一大片链接列表。从日志看搜索蜘蛛确实来过，可目标页的抓取量始终上不去。这类页面在搜索引擎眼里常被归到“低质量”或“软 404”的范围，里面的链接还能不能被继续跟进，就成了一个很实际的问题。
先分清几种“看着正常”的空页面
- 纯链接页：只有标题加一堆外链，没有任何解释性文字
- 空壳模板：框架渲染失败，正文区是空白或只有 loading 文案
- 采集拼接：段落之间没有逻辑，关键词反复堆叠
- 占位页：写着“内容正在建设中”，长期不更新
这几种页面的共同点是：状态码 200，但对访问者没有实际价值。搜索蜘蛛在决定是否继续跟进链接时，不只看状态码。
状态码 200 不等于“值得继续抓”
搜索蜘蛛的处理大致分两层：第一层是能不能抓，看 robots 协议、状态码、响应时间；第二层是值不值得抓，看内容质量、重复度、页面类型。第一层过了，第二层才决定要不要继续解析并跟进链接。空壳页面通常卡在第二层。
常见表现是：日志里抓取频率逐渐降低，从每天几次变成几天一次；入口页里的目标 URL 迟迟不出现；站点整体的 URL 发现效率下降。注意这些都是“节奏变化”，并不代表页面被明确处罚。
链接还会不会被跟进
通常会，但一般有两个变化：一是量变少，蜘蛛可能只取页面前几条链接，剩下的留在队列里迟迟不抓；二是频率变低，同一批链接的再次抓取间隔被拉长。换句话说，链接不是完全被忽略，而是优先级被压得很低。
如果入口页长期保持这种状态，整个入口的 URL 发现效率会明显下滑，继续往里加链接的收益也会越来越小。
链接被发现不等于被跟进，被跟进也不等于被马上抓取。
几种常见处理方式和取舍
- 补充说明性文字：哪怕每页加两三段真正描述目标内容的文字，也比纯链接堆好很多。
- 控制单页链接数量：与其一页塞几百条，不如拆成几页，每页几十条，并做简单分组。
- 用 sitemap 兜底：入口页负责发现，sitemap 负责提交，两条路并行，不必二选一。
- 定期清理失效入口：长期不更新、内容空白的入口页，删掉往往比留着更省抓取预算。
这几点都不复杂，难点在于执行时的取舍：拆页面会增加维护成本，补文字需要额外投入。可以先从流量最大的那几个入口页开始改。
怎么自查入口页是不是“空壳”
- 关掉 CSS 和 JavaScript，看页面还剩下多少可读文字
- 对比入口页被抓次数和目标页被抓次数，看差值是否长期偏大
- 看日志里蜘蛛抓的是入口首页，还是更深一层的链接页
- 统计单页平均返回大小和抓取时长，异常小的页面要留意
如果自查发现入口页返回的体积很小、每次只抓首页不往深处走，基本可以判断是内容质量问题在拖后腿，而不是提交方式的问题。
一个容易被忽略的点
空壳页不一定是“被惩罚”，更多是自然取舍。搜索引擎每天要处理海量页面，在抓取预算有限的情况下，把额度留给信息量大的页面是正常逻辑。把入口页做到“有内容可读”，通常比反复提交 URL 更管用。
最后提醒一句：无论怎么优化入口页，都不能保证一定被收录或获得排名。能做的只是减少蜘蛛在你站点上的无效消耗，让真正有价值的 URL 更容易被发现和安排抓取。