搭蜘蛛池的入口页时，很多人会盯着链接结构、跳转方式和并发数量，却容易忽略一个更基础的问题：这些入口页返回的状态码到底对不对。页面明明已经空了、内容删了、模板出错了，服务器还是回一个 200，蜘蛛把它当正常页面继续抓，这就是软 404。
先分清几种状态
- 200：正常。页面有真实内容，蜘蛛会解析，并顺着链接往下走。
- 404：页面不存在。蜘蛛会较快放弃这条地址。
- 410：明确告知已永久删除，处理上比 404 更干脆。
- 软 404：页面实际上没有有效内容，但服务器返回 200。蜘蛛要抓完、解析完，才可能察觉这个页面没什么价值。
对蜘蛛池来说，前三种是可控的，软 404 是隐形的，它不会报错，只会悄悄吃掉抓取机会。
蜘蛛遇到软 404 会怎么走
不同搜索引擎的处理细节有差异，但大致路径类似：
- 先按 200 正常抓取，消耗一次抓取配额。
- 解析正文，发现内容为空、过短，或者和标题完全对不上。
- 短期可能仍保留这条地址，但下次来访的间隔会拉长。
- 如果同一批入口页大面积出现这种情况，整个站点分到的抓取频次往往会下调。
换句话说，它更像慢性消耗。日志里全是 200，看上去一切正常，但蜘蛛翻完就走，不往下走。
蜘蛛池里最常见的几种来源
- 列表页数据被清空，模板照常渲染，只剩导航和页脚。
- 伪静态规则写错，所有不存在的路径都被重写到首页或某个空模板，返回 200。
- 内容删除后只把正文置空，标题和侧栏还在，页面看起来还是完整的。
- 页面依赖 JS 渲染，服务端返回的是空壳 HTML，蜘蛛拿到手是空的。
- 分页参数越界，比如 page=999，程序没做兜底，直接渲染空列表。
- 入口页本身只为引导，正文只有一句“正在建设中”。
这些情况在蜘蛛池里很容易被忽略，因为入口页数量多、更新快，人工一条条看并不现实。
怎么自查
- 批量看返回头。对一批入口 URL 只发请求读状态码，不解析正文，重点挑出“200 但正文极短”的地址。
- 抽样对比。每批入口页抽出若干条，把状态码、标题、正文长度三个字段放在一起看，明显偏短的单列出来。
- 对照日志。如果某批 URL 被抓了很多次，目标页却始终没有后续抓取，先怀疑这批入口页本身没给出可跟的链接或有效内容。
- 关掉 JS，直接看服务端返回的 HTML，确认蜘蛛第一眼看到的是什么。
- 检查伪静态和 404 兜底配置，确认不存在的路径不会统一回落到返回 200 的首页模板。
修复思路
- 内容确实没了，就让它老老实实返回 404 或 410，别用空白模板加 200 糊过去。
- 分页参数越界要有兜底，超出范围返回 404，而不是渲染空列表。
- 依赖 JS 的入口页，至少保证服务端输出的 HTML 里有可读的标题、一段说明和几条链接。
- 某类入口页长期给不出内容，可以考虑直接下线，把抓取机会留给能出东西的路径。
- 修改后不必天天盯，按周看一次状态码分布和正文长度分布就够用。
软 404 的影响不会立刻体现在日志里，它通常表现为抓取量看着正常，但往下走不动。排查抓取效率问题时，把状态码和正文长度放在一起看，比只看日志总量更有意义。
小结
蜘蛛池的效率，很大程度上取决于蜘蛛每次来访能不能拿到有效信息。软 404 把没有内容伪装成一切正常，让抓取预算花在了空页面上。把状态码、正文长度和链接出口这三件事对齐，比一味堆更多入口地址更实际。