很多站长把注意力放在入口页的链接怎么写、放多少个上，却忽略了服务器返回的响应头。实际上，搜索蜘蛛拿到的第一手信息就是状态码和响应头，它们决定了蜘蛛会不会继续解析页面、链接能不能被正确提取，以及下次什么时候再来。
Content-Type 声明错误，链接可能根本解析不出来
入口页如果返回 Content-Type: text/plain，蜘蛛会把它当作纯文本，HTML 结构不会被解析，里面的 a 标签自然也不会被当成链接。同理，charset 声明错了（比如页面实际是 UTF-8 却写成 gb2312），中文路径或带中文参数的 URL 可能出现乱码，拼出来的链接就对不上真实的目标 URL。
还有一种常见情况：响应头写的是 text/html，但页面实际返回的是 JSON 或 JS 片段。蜘蛛仍然会尝试解析，却拿不到正常的链接节点，最终表现为页面抓了、目标 URL 一个没发现。
X-Robots-Tag 和 robots.txt 是两回事
robots.txt 是站点级协议，X-Robots-Tag 是响应头级别的指令。如果在入口页的响应头里写了 noindex，主要影响的是入口页自身的索引；但写了 nofollow，就会直接影响该页链接的跟随。需要留意的是，X-Robots-Tag: nofollow 对入口页里的目标 URL 影响很大，蜘蛛会抓取入口页但不再顺着链接走。
有些服务端因为统一配置，给整站所有响应都加上了 noindex，入口页也被连带命中。这类问题在排查时容易被忽略，建议用抓取工具看原始响应头，而不是只看页面源码。
缓存头决定蜘蛛多久回来一次
入口页更新频繁的话，如果返回很长的 Cache-Control（比如 max-age 一天以上），蜘蛛可能在一段时间内看到旧版本，新增的目标 URL 自然不会被发现。反过来，如果响应头里没有任何缓存标识、Last-Modified 每次请求都在变，蜘蛛也可能因为页面老是变化而降低抓取频率。
比较稳妥的做法是让入口页的变更可预期：内容真的变了再更新 Last-Modified，不要为了显得活跃而每次请求都输出当前时间。
状态码与重定向链条
- 200：正常返回，蜘蛛按常规解析页面内容。
- 301/302：蜘蛛会跟到终点，但链条过长（三四跳以上）时，部分抓取可能直接放弃。
- 403/404/410：入口页本身失效，里面的目标 URL 也就失去被发现的机会。
- 5xx：属于服务端错误，蜘蛛通常会在之后重试，但短期内不会继续解析内容。
一个可执行的排查顺序
- 用命令行或抓取工具只看响应头，确认 Content-Type 和 charset 与页面实际编码一致。
- 检查是否存在全局的 X-Robots-Tag，尤其是 nofollow 和 noindex。
- 查看 Cache-Control、ETag、Last-Modified 是否合理，避免蜘蛛长期拿到旧版本。
- 确认入口页自身返回 200，重定向链尽量控制在一跳以内。
- 最后再回头看链接写法、目标 URL 数量这些内容层面的问题。
小结
入口页的响应头和内容类型不是后台配置里的小事，它们直接决定蜘蛛能不能看到、能不能解析、愿不愿意再来。把这几项检查清楚，再去调整链接布局和 URL 数量，才不至于白费功夫。
响应头和状态码是抓取的前置条件，它们出问题时，页面里链接写得再规范也很难被有效利用。