很多蜘蛛池入口頁在浏览器里看起来很正常，連結、按钮、列表都在，但蜘蛛拿到的 HTML 源碼里可能什么都没有。原因通常只有一個：内容是被 JavaScript 或者 iframe 拼出来的。對蜘蛛来说，入口頁的價值就是能不能從這里發現下一條 URL，如果連結只存在于渲染之後，發現效率就會明顯打折扣。
蜘蛛優先拿到的是初始 HTML
搜尋引擎抓取一條 URL 时，第一步是請求並解析服務器返回的 HTML 源碼。JS 渲染通常排在後面的阶段，需要排队、消耗抓取预算，也可能因為某個资源加载失敗而中断。入口頁這類只為發現連結而存在的頁面，把關键連結放在初始 HTML 里，是最省事的做法。
哪些寫法容易让連結消失
- 用 JS 拼接 DOM 再插入連結，源碼里只剩一段脚本。
- 用 onclick 或事件监听做跳轉，没有真實的 href。
- 把連結寫在 iframe 里，尤其是跨域 iframe。
- 图片或列表用懒加载，地址放在 data-src、data-href 属性上。
- 用 display:none 或 visibility:hidden 隐藏連結，指望蜘蛛照样計入。
前几條属于蜘蛛看不到，最後一條属于蜘蛛可能看得到但不認，两種都在浪費入口頁。
iframe 不是不能用，但別当主力
蜘蛛對 iframe 的處理比普通連結差：需要額外請求，跨域内容可能被忽略，即便能跟進，也不如頁面里一條直接的 a 标簽干脆。如果入口頁必须用 iframe 承载列表，建议在 iframe 外面再放一份等價的纯連結列表，或者至少让每條目标 URL 都有一個可直達的 href。
改造思路：能直出就不要依赖渲染
- 服務端渲染，让連結直接出現在返回的 HTML 里。
- 使用真實 a 标簽和完整 href，不用 JS 事件代替跳轉。
- 首屏連結不做懒加载，需要滚動才出現的放到後面几屏。
- iframe 内容用直鏈列表兜底，两者指向同一批 URL。
- 最後用 sitemap 补一层發現路径，降低對頁面解析的依赖。
怎么驗證蜘蛛看到了什么
不要用浏览器開發者工具里的元素面板判断，那看到的是渲染後的 DOM。正确做法是查看網頁源代碼，或者用 curl 直接請求一次，检查返回的 HTML 里有没有目标連結。也可以临时禁用 JS 打開頁面，看還剩多少可点的連結。如果禁用 JS 後頁面几乎是空的，蜘蛛大概率也是同样的体驗。
入口頁的核心任務不是好看，而是让連結出現在最容易被抓到的位置。渲染是给用戶看的，源碼是给蜘蛛看的，两者至少在連結這件事上要保持一致。
几個使用建议
- 入口頁尽量保持静態優先，模板里避免堆砌前端框架。
- JS 渲染可以用，但只做增强，不要成為唯一的連結出口。
- 定期抽查：随机抽几條入口頁，用 curl 對比源碼里的連結數與预期是否一致。
- 如果發現蜘蛛只抓入口頁不往下走，先排查連結是否真的寫在源碼里。
入口頁做得再花哨，蜘蛛看不到連結就只是空轉。把連結放回 HTML 源碼中，往往比優化渲染方案更有效。