在做蜘蛛池时，一个常被忽略的问题是：入口页上的链接，蜘蛛到底看不看得见。很多人抱怨“链接放了上千条，抓取却没动静”，排查到最后发现页面主体是客户端渲染的，源码里只有一段脚本，链接全在 JS 执行之后才出现。
抓取和渲染是两条不同的路径
搜索引擎爬虫拿到一个 URL 之后，第一步是抓取原始 HTML，第二步才可能把它丢进渲染队列，用类似浏览器的环境执行 JS。这两步的代价完全不同：抓取便宜、并发高；渲染昂贵、排队久，而且通常有单独的配额。对蜘蛛池这种量大、页面生命周期偏短的场景来说，能不能在第一步就让链接可见，几乎决定了整套流程的效率。
三种渲染方式对链接发现的影响
纯静态 HTML
链接直接写在返回的源码里，爬虫不需要渲染就能发现并继续跟进。这是蜘蛛池入口页最省事、也最稳定的方式，尤其当入口页本身只是一个链接中转层时。
服务端渲染
服务端把完整的 HTML 拼好再返回，对爬虫来说和静态页面几乎没有区别。差别主要在服务器成本和缓存策略上：如果每个请求都实时渲染，入口页多了以后容易拖慢响应速度，反而影响抓取效率。
客户端渲染
源码里只有容器和脚本，链接要等 JS 执行后才插入 DOM。爬虫能不能看到，取决于它是否愿意为这个页面花渲染配额。对权重低、内容薄的新入口页来说，被渲染的概率往往并不高。
蜘蛛池场景下的取舍
- 入口页优先静态化。它的核心职责是让链接被发现，不是展示复杂交互，没必要为了前端体验牺牲可见性。
- 混合渲染要有兜底。如果确实需要 JS，至少在首屏 HTML 或 noscript 里保留一份可点击的链接列表。
- 减少非必要的渲染触发。轮播、懒加载、无限滚动这类交互会把链接藏在事件之后，蜘蛛未必会去触发。
- 注意渲染请求的延迟。渲染型抓取往往比普通抓取晚几天甚至更久，链接的时效性会打折扣。
几个常见的误区
- “浏览器能看到就等于蜘蛛能看到”。你打开页面看到链接，是因为浏览器执行了 JS；爬虫未必有同样的待遇。
- “加了预渲染就万事大吉”。预渲染服务本身也可能被限速或识别，效果要从日志里验证，而不是想当然。
- “链接在源码里就行”。如果链接是靠 JS 拼出来的地址，或者被注释包裹、被 CSS 隐藏，实际也不会被正常跟进。
怎么自查
- 用 curl 或查看网页源代码（不是审查元素），确认链接是否出现在原始 HTML 中。
- 关闭浏览器 JS 再打开页面，能点到的链接才算真正对爬虫可见。
- 对照服务器日志，看抓取请求里是否出现了 JS、CSS 等静态资源的拉取，这通常意味着渲染型抓取发生过。
- 对比源码中的链接数与浏览器中实际渲染出的链接数，差异越大，说明对渲染的依赖越重。
蜘蛛池的效率，很多时候不取决于你放了多少链接，而取决于这些链接在第几次请求里就已经可见。