搭蜘蛛池时，很多人把注意力放在入口页的链接结构、更新频率上，却忽略了一个更底层的东西：入口页返回的状态码。对蜘蛛来说，状态码是它对一个 URL 的第一判断依据——比页面内容更早、更直接。给错状态码，后面做再多优化也可能被一句话否掉。
状态码决定蜘蛛要不要继续
蜘蛛请求一个 URL，先拿到响应头，再决定是否下载和处理正文。如果响应头里写着 404、403、503，很多时候正文根本不会被解析。反过来说，一个内容很薄的入口页，只要返回 200，蜘蛛仍会抓下来、判断质量；但一个内容正常的页面如果被错误地返回 404，就等于主动告诉蜘蛛“这里什么都没有”。
几类状态码在蜘蛛眼里的区别
200：正常，但要看内容
200 是标配，不代表没问题。常见状况是返回 200 但正文为空、只有几十个字的模板，或者全是 JS 渲染后才有内容，蜘蛛会认为这是一个低价值页面。还有一类是“软 404”：内容不存在，却仍然返回 200，反而让蜘蛛反复回访一个没内容的地址，浪费抓取预算。
301 与 302：能不能被跟随
301 表示永久跳转，抓取路径通常会转移到目标地址；302 是临时的，蜘蛛可能反复回来确认。入口页做跳转时要注意，跳转链不要叠太多层，也不要 301 跳到 302 再跳到 200，链条越长，蜘蛛跟到目标页的概率越低。
404 与 410：两种“没有”的差别
404 是“找不到”，410 是“已删除且不会再回来”。对已经确认下线的入口页，410 的态度更明确，蜘蛛停止回访的速度通常更快。但两者都不要滥用：入口页只要还在服务，就不要为了省事直接返回 404，否则整个频道会被逐步清空。
403、429 与 5xx：容易被误读的信号
403 是拒绝访问，蜘蛛一般不会反复尝试；429 是请求过多，属于限速提示，处理得当蜘蛛会降速而不是离开；500、502、503 是服务端问题，短期还能被容忍，长时间持续会让蜘蛛降低访问频率。503 配合 Retry-After 是维护期间比较规范的做法。
错误页的三种处理思路
- 真实错误就如实返回。页面确实不存在，用 404；内容永久删除，用 410。不要为了留住蜘蛛而把错误页返回 200。
- 临时故障用 503 加 Retry-After。数据库维护、后端升级这类短期不可用，写清楚恢复时间，比硬撑返回半截页面更稳妥。
- 自定义错误页要有出路。蜘蛛和用户看到错误页时，应该能顺着链接回到有效入口，而不是掉进一个死胡同。
常见的几个坑
- 把 404 页面统一 301 到首页，形成大量“首页副本”，反而稀释入口页的作用。
- 入口页被 CDN 或 WAF 拦截，所有请求都返回 403，日志里还看不出问题。
- 后端超时被统一包装成 200，页面上写着“加载失败”，蜘蛛看到的却是一个正常页面。
- 限速策略过于激进，入口页大面积返回 429，蜘蛛会整体降低对该域名的访问节奏。
状态码是抓取链路的底层开关。入口页和内容页可以有不同的策略，但同一类页面最好保持一致，否则蜘蛛很难建立稳定的抓取模型。
怎么观测与调整
从访问日志里按状态码分组统计，重点看三类比例：2xx 是否占绝大多数、4xx 里有多少是入口页自身的、5xx 是否集中在某个时间段。如果 4xx 持续升高，先确认是入口页被误删还是配置写错；如果 5xx 集中在高峰期，说明后端承载不够，先把服务稳定下来，再谈抓取量。调整时一次只改一类页面的策略，观察一到两周日志变化，再做下一步。