现代前端交互中，无限滚动和“加载更多”按钮被广泛用于列表、论坛、商品展示等场景。用户在滚动时，新内容通过Ajax自动加载，URL不变，或仅改变URL参数。这种交互对用户友好，但搜索蜘蛛却可能只拿到初始HTML，无法触发后续加载。

现象：蜘蛛只看到第一屏

当蜘蛛访问一个无限滚动的页面时，它拿到的HTML源码中往往只包含第一批内容对应的链接。后续内容依赖JavaScript事件或接口响应，而蜘蛛的抓取行为更接近一个没有耐心且不执行脚本的访客。因此，即使整站内容数量庞大，蜘蛛实际可发现的URL可能仅停留在首页的几个入口。

原因：蜘蛛的抓取依赖静态链接

搜索引擎蜘蛛在抓取页面时，主要解析HTML源码中的a标签。对于JS动态渲染的内容，蜘蛛并不总是具备完整执行能力。即便部分蜘蛛支持渲染，其延迟也会影响抓取效率。因此，如果页面没有为后续内容提供静态URL入口，蜘蛛无法“看到”这些内容，相应的抓取路径就此中断。

不要让重要的内容只存在于一次用户滚动或一次点击之后。蜘蛛没有手指，也没有鼠标。

代价：深层页面成为抓取孤岛

当分页内容无法被发现时，整站抓取深度下降，尤其对大型电商、社区站点影响明显。页面的URL不在任何地方被链接，导致无法被收录或参与排序。同时，内链权重也无法传递到此类页面，造成资源浪费。

典型场景举例

• 博客首页无限加载，旧文章只能通过读取JS获取。
• 评论列表点击“查看更多”才加载，评论内容无法被识别。
• 产品列表默认显示20个，滚动到底自动追加剩余产品。
• 视频列表通过“加载更多”按钮展开，但没有对应分页URL。

补全路径：让蜘蛛可以逐页抵达

1. 保留传统分页结构

即使在交互上使用无限滚动，也应在页面底部输出静态分页链接：第2页、第3页……或“下一页”。这些链接供蜘蛛抓取，不影响前端用户交互。分页URL遵循统一规则，如列表页/page/2/、/list?page=2。

2. 每个“加载更多”的批次对应一个静态URL

若每批加载对应某个数据区间，尽量为这些区间生成可访问的静态URL。将加载按钮的底层数据指向该URL，同时将分页链接放在页面代码末端。

3. 建立独立归档页

对于内容经常被无限滚动截断的栏目，建立一个静态归档列表，列出全部条目，并给予内链。归档页面本身是纯静态链接，天然适合蜘蛛抓取。

4. 在Sitemap中明确列出深层URL

Sitemap并不能提升权重，但可以辅助蜘蛛发现URL。不要因为页面是动态加载而忽略，这些页面只要有独立URL就应提交。

5. 避免对分页URL使用noindex

有些站点为优化体验，对第2页及之后页面设置noindex。这会直接阻断蜘蛛对后续条目的发现。建议让分页保持可索引，除非是参数无限组合的干扰性页面。

6. 记录抓取日志，定位断点

通过蜘蛛日志查看哪些URL有入口，哪些没有。针对没有出现的动态加载页面，检查是否有静态链接指向。没有link就增加link，而不是坐等搜索引擎自行通融。

延伸：服务端渲染与预渲染的局限

有些团队采用服务端渲染或预渲染来应对爬虫，这比纯前端方案更利于内容呈现。但需要注意的是，服务端渲染输出的HTML中仍要包含指向后续分页的a标签。若只渲染当前视口的内容，蜘蛛依然无法向后跳转。预渲染同理，必须将完整分页链路嵌入静态HTML。

小结

无限滚动解决的是用户浏览的流畅感，而不是抓取路径。搜索蜘蛛的URL发现仍然依赖显而易见的超链接。围绕这个前提，将动态区域补一份静态分页或归档链接，是成本最低且效果最稳定的站点运营操作。不要高估蜘蛛的JavaScript能力，也不要低估一条纯文本链接的价值。