蜘蛛抓取一个页面时，并不是像浏览器那样立刻把页面完整跑一遍。它通常先拿到服务器返回的 HTML，从中解析链接和内容，然后把需要执行 JavaScript 的页面放进渲染队列。这个过程存在时间差，而内链如果只在 JS 执行后才出现，URL 发现就会被推迟。
抓取和渲染是两步
对大多数搜索引擎蜘蛛来说，第一轮看到的是原始 HTML。HTML 里有没有 a 标签和 href，决定了这一轮能不能发现新 URL。JS 渲染是后续步骤，虽然会执行，但资源有限，排队时间可能从几小时到几天不等。站点越大、渲染需求越多，等待越久。
只在 JS 里出现的链接慢在哪
如果列表页的链接由前端请求接口后动态插入，蜘蛛首轮 HTML 中看不到这些 href。它只能等渲染任务执行，才知道下一页或详情页的地址。若渲染超时、脚本报错，或者页面依赖用户交互才加载，这些 URL 可能一直进不了抓取队列。结果是：页面内容没问题，但发现路径被卡住。
常见断点
- “加载更多”按钮只在点击后请求数据，HTML 里没有对应的分页链接。
- 无限滚动没有配套的可抓取分页入口。
- 前端路由使用 hash 或纯 JS 跳转，首屏没有真实链接。
- 详情页链接放在 Tab、弹窗或折叠区域，需要交互才插入。
- 图片、卡片绑定 onclick 跳转，缺少 href。
- 懒加载把链接也一起延迟，首屏源码里找不到目标 URL。
让重要 URL 在初始 HTML 中可发现
核心思路不是放弃 JS，而是让关键链接在第一轮 HTML 里就有真实地址。可以按下面顺序处理：
- 对列表页、分类页、详情页入口做服务端渲染或静态生成，保证首屏 HTML 包含链接。
- 分页用真实 a 标签，href 指向可访问的页码 URL，不要只靠按钮事件。
- 无限滚动保留一个普通分页入口，例如“查看全部”或页码链接，供蜘蛛沿着走。
- 前端路由尽量使用 history API，并确保每个路由在首屏有对应链接。
- 重要链接不要只放在交互后，可以在页面底部或侧栏增加静态入口。
- Sitemap 和主动提交作为补充通道，但不能替代内链，它们解决“告诉蜘蛛有这些 URL”，不解决“蜘蛛沿着结构继续走”。
怎么检查
不要只看浏览器里渲染后的 DOM。用“查看网页源代码”确认首屏 HTML 是否有目标链接；用抓取工具关闭 JS 再抓一次，看能发现多少 URL；对照服务器日志，观察渲染抓取是否频繁、是否落在重要页面上。若发现某个 URL 长期只靠 JS 暴露，优先把它改成 HTML 中可见的链接。
渲染抓取可以帮助发现 JS 生成的链接，但它不是实时通道。把重要路径放在初始 HTML 中，通常比等待渲染更可控。
蜘蛛池或提交工具能解决入口问题，但进入站点之后，能否沿着内链继续发现 URL，仍取决于页面结构。让链接在首屏源码里可读，是减少 URL 发现延迟的稳妥做法。