蜘蛛池入口页的作用是把搜索蜘蛛引到目标 URL。入口页存在本身说明不了什么，搜索蜘蛛每次来都会先看服务器给它的响应，状态码是它对这条地址做的第一个判断：这东西还在不在、值不值得下次再来。入口页状态码长期写错，最直接的结果不是某种惩罚，而是这条发现路径慢慢被冷落。
搜索蜘蛛眼里，状态码大致分三类
可以把常见返回分成三组：正常返回、明确不存在、临时异常。它们对应的处理逻辑并不一样。
- 200：内容正常返回。如果状态是 200，页面却是空的、或者只有一句“内容不存在”，容易被判定为软 404，这种情况比直接返回 404 更难处理。
- 404 / 410：告诉搜索蜘蛛这个地址没了。404 偏“暂时找不到”，410 偏“永久删除”。入口页如果已经废弃，返回 404 或 410 都比挂着一个空白 200 干净。
- 5xx 与 503：属于服务器侧问题。搜索蜘蛛一般会当成临时故障，过一段时间再来。503 如果配上 Retry-After 响应头，表达“稍后再来”会更明确。
- 403 / 429：拒绝访问或请求过多。这两类状态如果反复出现，容易被理解成这个站不欢迎抓取，入口页的通道作用基本就废了。
入口页出错，和其他页面出错不一样
普通内容页偶尔 500，影响的是那条 URL 自己。入口页承担的是“发现通道”的角色，它大面积出错，牵连的是一整批目标 URL 的发现路径。
几个典型场景
- 入口页换成新模板后路由没配好，全站入口页统一 404，目标 URL 还在，但没有蜘蛛再顺着入口页走过去。
- 数据库连不上，入口页成片 500，搜索蜘蛛连续几次拿不到内容，抓取频次会明显下滑。
- 防火墙把搜索蜘蛛的 UA 或 IP 段挡在门外，返回 403，日志里却没有抓取记录，很容易被误判成“蜘蛛根本没来过”。
排查顺序：先看日志，再看状态码分布
- 拉一段服务器日志，按状态码分组统计入口页的返回比例，先确认问题是全局的还是个别 URL 的。
- 用搜索蜘蛛的 UA 和真实 IP 段去请求，别只用浏览器测。浏览器拿到的结果和蜘蛛拿到的经常不一致。
- 检查中间是否有 CDN、WAF、限速规则在改写返回，尤其是 403 和 429。
- 如果入口页确实已经不用了，考虑返回 410 或正常下线，而不是留一个报错页面继续挂着。
- 临时故障类问题，优先修服务器或数据库，别急着改页面结构。
几个容易踩的坑
- 把 5xx 当成“过一会就好”长期不管，抓取频次掉下来之后想恢复往往很慢。
- 用 302 或 JS 跳转掩盖已经失效的入口页，搜索蜘蛛看到的是跳转而不是异常，问题被藏起来，反而更难发现。
- 状态码正常但返回内容被截断，蜘蛛拿到半截 HTML，链接解析不完整，目标 URL 也可能被漏掉。
状态码只是判断入口页健康度的一个切面。它稳定、可预期，搜索蜘蛛才愿意重复走这条路径；至于目标 URL 最终会不会被抓、被收录，还取决于内容本身和整体站点质量。
结论很简单：入口页可以老、可以简单，但状态码要稳。把 5xx、403、404 的比例压到很低，通常比反复调整页面结构更有用。