搜索蜘蛛遇到 301/302 会怎么做
当搜索蜘蛛抓取入口页，入口页返回 301 或 302，并在 Location 头里指向目标 URL，蜘蛛通常会继续请求目标 URL。也就是说，从“发现 URL”这个目的看，重定向是能被跟随的。但要注意，蜘蛛最终记录的是目标 URL，入口页不会像普通链接那样留下一个可传递链接信号的出链。
301 和 302 的区别
- 301 永久重定向：搜索引擎倾向于把最终目标当作原地址的替代，权重和信号可能合并到目标。
- 302 临时重定向：搜索引擎会跟随，但通常保留原 URL 的索引，信号传递较弱，也更容易变化。
- 无论哪种，大量入口页用同一模式跳向同一目标，容易被识别为跳转农场或刻意操纵行为。
入口页 301 到目标 URL 与直接放链接的区别
直接放 a 标签链接时，入口页作为来源页，蜘蛛在解析 HTML 时就把目标 URL 加入待抓取队列，链接关系明确。
而 301/302 跳转时，蜘蛛是在收到响应头之后才知道目标，抓取路径变成“入口页 → 目标 URL”，但入口页本身并不会作为一个有正文内容的链接来源参与链接关系计算。对于蜘蛛池常用的“入口页铺量”策略，重定向通常比直接链接更弱，也更容易被风控关注。
如果你只是希望目标 URL 被搜索蜘蛛发现，重定向可以做到；如果你还希望入口页的链接关系对目标有正向帮助，重定向并不是等价替代。
常见误区
- 把 302 当永久跳转长期用，目标 URL 刚有起色又改回，导致抓取信号不稳定。
- 入口页重定向后没有返回 200，而是继续 302 到另一个地址，形成跳转链，蜘蛛可能中途放弃。
- 入口页本身被 robots.txt 屏蔽，搜索蜘蛛通常不会抓取入口页，重定向也就不会被触发；入口页返回 noindex 时，重定向可能仍被跟随，但入口页不会作为有效索引页面。
- 用 JavaScript 或 meta refresh 模拟 301，实际响应头并不是 301，蜘蛛处理方式与真正的 HTTP 重定向不同。
排查与建议
如果你用入口页做 URL 发现，可以按下面顺序检查：
- 用 curl -I 看入口页返回的状态码，确认是 301/302，且 Location 指向目标 URL。
- 检查跳转链长度，最好一跳到位，不要 A → B → C 层层传递。
- 确认目标 URL 返回 200，并且没有被 robots.txt 屏蔽。
- 观察日志里搜索蜘蛛是否在抓入口页后紧接着抓目标 URL，以及抓取频率和间隔。
- 如果目标 URL 长期不出现，优先在入口页正文放可抓取的 a 标签，再配合 sitemap 和 URL 提交接口。
重定向不是不能用，但它更适合地址迁移或 URL 规范化，而不是长期作为蜘蛛池的发现手段。想稳定让搜索蜘蛛发现目标 URL，入口页里保留清晰的超链接，仍然是更直接的方式。