在搭建蜘蛛池入口页时，把目标链接塞进 iframe、用 meta refresh 自动跳转，或者写一段 JavaScript 做 location.href 跳转，都是很常见的做法。这类写法到底能不能被搜索蜘蛛发现目标 URL，没有一个统一的答案，关键看链接是不是以可抓取的形式出现在 HTML 里。
先区分「承载方式」和「链接形式」
很多讨论会把两件事混在一起：
- 承载方式：iframe、meta refresh、JS 跳转、302 等，决定页面如何呈现或转向；
- 链接形式：目标 URL 是不是写在 a 标签的 href 属性里，是不是标准的超链接。
搜索蜘蛛发现新 URL，主要依赖 HTML 中可以直接解析出来的链接。承载方式只影响它能不能读到这段 HTML，以及读到之后愿不愿意继续走下去。
iframe 里的链接
iframe 的内容是一份独立文档，需要蜘蛛额外发起一次请求去抓取。多数搜索引擎能处理 iframe 里的内容，但优先级和稳定性通常低于主文档里的链接。如果 iframe 的 src 指向被 robots.txt 屏蔽、需要登录、或者返回错误状态的地址，里面的链接基本不会被发现。把目标链接只放在 iframe 里，相当于多绕了一层，能不能被看到带有不确定性。
meta refresh 和 JS 跳转
meta refresh 属于页面级的跳转指令，搜索引擎一般能识别并跟随，但跟随的前提是它愿意继续抓取跳转后的页面。JavaScript 跳转需要渲染能力，主流搜索引擎可以执行一部分 JS，但渲染是有成本的，不会对每个入口页都完整跑到最后一步，尤其当入口页数量多、质量参差时。
更现实的做法是：跳转照做，但把目标链接同时以普通超链接的形式写在页面里，让蜘蛛在渲染之前就能看到。
把链接放回可抓取的位置
如果入口页确实需要给访客做跳转，可以保留跳转逻辑，同时补一份纯 HTML 链接列表：
- 每个目标 URL 用标准的 a 标签输出，href 是完整可访问的地址；
- 不要用 onclick 或 javascript: 伪协议代替 href；
- 链接不要先隐藏再靠 JS 显示，尽量在初始 HTML 中就可见；
- 入口页本身返回 200，并且允许被抓取。
这样即使 iframe 没被加载、跳转没被执行，链接仍然留在 HTML 里，被发现的概率会明显提高。当然，被发现只是第一步，是否抓取、后续是否被编入索引，还取决于目标 URL 本身的内容质量和服务器响应情况，这部分不是入口页能决定的。
常见的几个误区
- 以为跳转链越长越隐蔽越好，实际上每一层都可能让蜘蛛提前停下；
- 用整套图片或 canvas 承载链接，蜘蛛读不到 href；
- 入口页开了防爬规则，把搜索引擎的 UA 也一并挡住；
- 跳转目标经常变化，导致日志里全是 302，很难判断真实抓取结果。
怎么验证
- 用浏览器查看网页源代码，确认链接出现在原始 HTML，而不是只在渲染后的 DOM 里；
- 禁用 JavaScript 再打开入口页，看链接是否仍然可见；
- 在服务器日志里观察搜索蜘蛛对入口页和目标 URL 的请求记录；
- 对比不同入口页的写法，看哪种结构下的抓取记录更连续、更稳定。
总结一句：iframe、meta refresh 和 JS 跳转都只是页面行为，不是发现 URL 的可靠通道。真正起作用的是入口页 HTML 里有没有一条能被直接解析出来的链接。