把入口頁做成一個壳頁，真正的連結列表放在 iframe 里，是不少人在做蜘蛛池时會尝试的寫法：主文档看起来干净，連結集中在另一個文档中。問题随之而来——搜尋蜘蛛到底會不會跟着 iframe 里的連結走到目标 URL。
搜尋蜘蛛怎么處理 iframe
主流搜尋引擎會把 iframe 的 src 当成一個獨立的 URL 去抓取和解析。也就是说，iframe 里的文档有机會被抓到，里面的 a 标簽也有机會被發現。但有几個前提：src 必须是可解析、可抓取的 HTTP(S) 地址；iframe 文档本身没有被 robots.txt、登入墙、403／429 之類拦住；里面的連結是真實的 href，而不是靠脚本点击才生成。
- 父頁面被抓到，不等于 iframe 文档一定被抓到，這是两個分開的抓取任務。
- 用 srcdoc 直接寫 HTML 的 iframe 通常没有獨立 URL，引擎很难把它当成一個頁面来解析。
- iframe 的 src 由脚本動態寫入、或滚動到可视区才注入，能否被發現取决于渲染环节，並不稳定。
- iframe 内頁面的連結，父頁面拿不到上下文，锚文本和周围文字都不算在父頁面上。
對 URL 發現的三個實际影响
- 發現鏈條多了一跳。本来主文档里的 a 标簽就能直接暴露目标 URL，現在變成“主文档 → iframe 文档 → 目标 URL”，中間任何一环抓取失敗，整條鏈路就断了。
- 失敗点變多。父頁面可抓、iframe 文档被拦、iframe 文档返回 5xx、iframe 里的連結是脚本生成的，任何一條都會让目标 URL 發現不了。
- 通常只解决“被發現”這一件事。iframe 内的連結缺少正常頁面上下文，別指望它承担锚文本或權重传递的作用。
常见的踩坑寫法
- iframe 套 iframe，甚至三层以上，抓取和渲染成本都在涨，漏掉的風險也在涨。
- 用了 loading=“lazy”或者滚動才注入 src，蜘蛛不一定會触發滚動。
- iframe 里放的其實是 302 跳轉頁或脚本跳轉頁，URL 發現變成一道額外的重定向题。
- sandbox 属性限制過嚴，脚本被禁用，本来靠脚本生成的連結就彻底没了。
- 父頁面被 robots.txt 屏蔽，只放行 iframe 文档。這種情况下蜘蛛往往连父頁面都不抓，自然也看不到 iframe 的 src。
确實要用 iframe，怎么做稳妥一点
- 把關键連結直接放在主文档的 a 标簽里，iframe 只作补充，而不是唯一出口。
- iframe 的 src 静態寫死為可抓取 URL，不依赖懒加载或脚本注入。
- 不要嵌套，一個入口頁里的 iframe 數量也要控制，避免抓取预算被容器文档吃掉。
- 入口頁之外配好 sitemap 和主動提交作為兜底，让目标 URL 有第二條被發現的路。
- 目标 URL 自身要可抓：不被 robots.txt 屏蔽、不返回 4xx／5xx、不做多級跳轉。
怎么自查 iframe 有没有起作用
- 看服務器日誌里有没有對 iframe 文档 URL 的抓取记錄，完全没有记錄，說明這一层根本没被抓。
- 用抓取調试類工具查看渲染後的 HTML，確認 iframe 的 src 真實存在、里面的連結是 href 而不是按钮或脚本。
- 對比用 iframe 前後，目标 URL 的首次被抓時間有没有明顯變化，判断這條路是否真的通了。
- 如果目标 URL 長期只有零星抓取，優先回到最直接的做法：主文档里的普通連結加 sitemap。
iframe 不是不能用，但它把一條直路變成了两段路。任何一段断了，目标 URL 都不會出現。能用普通連結解决的事，不必绕到 iframe 里。