有站长遇到这样的情况：蜘蛛池入口页日志里搜索蜘蛛来得很勤，但目标URL迟迟没有被抓取。回头看入口页，HTTP 状态码是 200，标题也正常，可正文几乎是空的——只剩导航、页脚，或者一层还没渲染出内容的框架。这类页面在抓取层面通常被称为“软 404”：状态码说“我在”，内容却说“这里没什么可看的”。
软 404 为什么比真 404 更麻烦
真正的 404 是明确信号，搜索蜘蛛看到就知道该停手，抓取资源不会被浪费。而 200 的空页面会把蜘蛛留下来，机器需要先下载、解析、判断，最后才发现没有实质内容，这一步的成本已经花掉了。如果入口页大面积是这种状态，抓取预算会被大量消耗在“来了也白来”的页面上，留给真正目标URL的机会自然就少了。
搜索蜘蛛在空入口页上会怎么做
需要先明确一点：只要链接以可解析的形式存在于 HTML 中，搜索蜘蛛一般仍然会发现并排队。空内容不会让链接凭空消失。但发现和抓取是两件事，空页面影响的是后半段：
- 链接的发现优先级可能下降，排队时间变长；
- 如果页面内容高度重复，比如几十个入口页只有模板相同，去重后可能只保留少数几个；
- 多次抓到空内容后，对整批 URL 的抓取节奏会趋于保守。
所以“蜘蛛来了”不等于“链接一定会被跟进”，更不等于目标URL会被收录。
三种常见的“假满真空”形态
- 模板壳：有导航和页脚，主内容区是空的容器，链接全在菜单里。
- 纯 JS 渲染：HTML 源码里只有一行挂载点和 script 标签，链接在数据接口里。
- 错误页伪装成 200：入口程序出错时仍返回 200，页面写着“参数错误”或者干脆空白。
自查清单
- 用 curl 或抓取工具拿原始 HTML，而不是看浏览器渲染后的页面；
- 确认主内容区是否有独立于导航的文本和链接；
- 核对状态码是否稳定为 200，出错时是否误返回 200；
- 在服务端日志里对照入口页的抓取频次与目标URL的抓取次数，看是否明显失衡；
- 抽查一批入口页，看内容重复度是否过高。
处理思路
- 给入口页补上真实的、稳定的正文信息，哪怕只是几段描述性文字和上下文，也比空壳好；
- 把目标链接放在服务端渲染的 HTML 中，不要只靠前端接口拼出来；
- 出错页统一返回 404 或 503，别让错误页顶替正常页；
- 长期无效、无内容的入口页直接清理，减少无效抓取；
- 入口页数量控制在合理范围，宁可少而实，不要多而空。
怎么验证目标链接有没有被跟进
- 看服务端日志里目标URL是否出现搜索蜘蛛的请求记录；
- 对比入口页抓取时间与目标URL抓取时间，看是否存在明显关联；
- 用站点地图或主动推送作为补充通道，对比两条路径的抓取差异；
- 在搜索后台查看 URL 状态，区分“已发现”和“已抓取”。
蜘蛛池解决的是“被发现”的问题，解决不了“值不值得抓”和“抓了之后会不会收录”的问题。入口页能做的，是把链接干净地交出去；剩下的取决于目标URL本身的质量和可抓取性。
最后提醒一句：入口页返回 200 但内容为空，单独看并不致命；但如果整批 URL 都是这个状态，抓取行为大概率会变慢变少。与其反复纠结链接的写法，不如先把“页面到底有没有内容”这件事确认清楚。