无限滚动在内容型站点中很常见，尤其是资讯流、商品列表、问答社区。它让用户无需点击下一页就能持续浏览，却经常给搜索蜘蛛的URL发现带来隐性障碍。蜘蛛在抓取页面时，通常只会请求HTML并解析静态链接，滚动事件和异步加载产生的DOM变化并不在标准抓取流程内。结果就是：蜘蛛看到的是一个只有首屏内容的毛坯页面，后续条目既没有对应的URL，也没有可点击的入口。
无限滚动下的URL形态与抓取死角
不同站点的无限滚动实现方式差异很大，对蜘蛛的影响也不同。有些站点会在用户接近底部时，自动向下一页发起AJAX请求，然后把响应拼接到当前列表末尾。整个过程不产生新的URL，浏览器地址栏始终不变。此时除了第一页之外，所有条目都只存在于运行时内存中，蜘蛛完全无法感知。这类内容即使质量很高，也无法通过链接被发现，只能依赖搜索系统通过其他方式索引，基本等于与抓取路径无关。
另一种常见做法是“加载更多”按钮。如果按钮本身没有href属性，或者点击后才通过JavaScript生成后续内容，蜘蛛同样无法获取第二层、第三层的数据。尤其当列表项没有独立详情页URL时，问题就更严重。比如翻页URL为?page=2这种清晰结构，却因为动态加载按钮未暴露真实链接，导致页面全部内容挤在一个URL下面，重复度也容易升高。
还有一类实现会使用history.replaceState或pushState，在滚动加载时不断更新URL参数，比如把currentPage改成2、3。表面上看URL在变化，但蜘蛛不会主动触发滚动，初始HTML里只有第一页的数据，后面所有参数对应的URL都没有实际被抓取请求过，更谈不上内容映射到正确的URL上。
优先恢复URL可枚举性
要让搜索蜘蛛重新发现并遍历这些内容，最稳妥的出发点不是让蜘蛛去模拟用户滚动，而是让页面在任何JavaScript都不执行的状态下，依然具备完整的URL列表。也就是说，服务端返回HTML时应包含分页导航，哪怕前端做了无限滚动交互，也要保留一组真实链接，例如放在页面底部的“下一页”或“页码”区域。对蜘蛛而言，这些静态链接就是新URL的入口。
如果不想削弱无限滚动的体验，可以保留“加载更多”按钮，但让button内部或旁边存在一个带真实地址的a标签，或者直接把button换成a标签，用href指向下一页路径。这样蜘蛛可以顺着链接逐层抓取，用户点击后仍然可以通过拦截事件跳转到AJAX加载逻辑，达到同时兼容的效果。注意不要在触发异步后阻止默认行为时把href环境给破坏掉。
独立分页URL与内容可见性缺一不可
分页URL本身要遵循一致、连续的规则，例如?page=2、?page=3，而不是每页都生成随机参数。URL不稳定会导致蜘蛛已经抓取过的链接失效，重新发现后又要面对未知的跳转或软404。翻页时最好使用GET参数并保持参数名固定，不要混用？p=2和？page=2两种写法。
在页面内容上，要确保URL对应的HTML中确实存在该页的核心条目，而不是所有页都输出同样的首屏内容。蜘蛛会通过比对内容差异来确认新URL是否有索引价值。如果所有分页URL返回的都是第一屏的内容，那么即使URL被发现，也会被认为是重复或者软404，抓取预算反而浪费。服务端渲染或预渲染出当前页面的内容，是保证URL与内容一一对应的基础。
分页长度与抓取预算的平衡
无限滚动容易让单页条目数量变得很大，从SEO角度并不好控制。页面中静态链接数量过多，会稀释核心URL的权重；如果分页大多为空壳，还可能触发抓取速率下降。建议单页条目控制在合理范围，比如20到30条，让每个分页有足够独特内容，但也不要为了减少页数而无限堆加，导致单页过长，抓取深度和更新频率都难以维持。
带滚动加载的评论或附件区域
无限滚动不仅出现在列表页，也可能出现在详情页的评论区、附件列表等位置。评论过多时，如果只展开前几条，后面的评论就没有独立URL入口。此类次要区域对核心抓取影响不大，但如果内容本身需要被收录，比如问答站点长的热评，就应采用同样的思路：保留按时间或页码展开的静态链接，或使用独立的评论分页URL。不要用“展开更多评论”这种按钮而没有任何真实地址。
实践检查清单
- 关闭JavaScript后访问页面，确认后续内容对应的静态链接仍然存在。
- 检查“加载更多”或按钮元素是否包含href属性，并且指向真实分页URL。
- 验证每个分页URL返回的HTML中是否包含该页实际内容，而非统一首屏。
- 对比蜘蛛日志，确认分页URL是否被按顺序请求，有没有大量2级页面的404或500。
- 避免在滚动时动态替换URL却不提供同样URL的静态入口。
无限滚动的核心矛盾在于，产品希望用户停留，而蜘蛛希望看到确定的URL和稳定入口。站点运营应优先保证HTML中静态可点的URL，再在此基础上去增强交互体验，而不是让抓取工具去适配不可见的动态事件。
对于已经上线无限滚动的站点，可以分阶段处理：先补充页面底部的分页导航，再用无脚本渲染输出加载更多的href，最后检查日志确认蜘蛛实际发现到第几层。不要把希望寄托在蜘蛛执行滚动上，任何需要JS触发才能拿到URL的机制，都是对抓取路径的人为设限。