很多内容型网站在列表页里用上了“点击加载更多”或“无限滚动”。这种交互确实让用户停留时间变长，也减少了翻页的摩擦。但从搜索蜘蛛的视角看，页面中的内容并不是都有URL，甚至很多内容根本没有被写在HTML里。搜索蜘蛛在发现URL这件事上，依赖的是可解析的超链接，不是用户的点击行为。一个列表页如果只有第一屏有真实链接，其余内容靠JavaScript触发动态追加，那么蜘蛛能看到的新URL就会少得可怜。
无限滚动为什么会让URL发现“短路”
搜索蜘蛛不像真实用户那样能在页面上拖动或点击“加载更多”。它只读取初始HTML源代码中的href属性，然后沿着这些链接继续爬。无限滚动通常只保留前几项或几十项的链接，后面的内容统统放在一个JavaScript数组或接口返回数据里。对爬虫来说，这些内容等于不存在。旧文章如果只能通过这种列表入口被找到，那随着滚动加载的URL不被暴露，它们就会逐渐变成孤儿页面。
更麻烦的是，一些站点为了强制用户使用滚动加载，干脆把传统的分页条删掉了。乍看页面很干净，实际上等于告诉蜘蛛：“这里只有一扇门，而且门后面没有下一扇门。”一旦这个页面的权威性下降，蜘蛛再来时可能只抓一个壳，深层内容完全无法进入。URL发现链路会从根部断掉。
分页兜底：给蜘蛛一条宽路，也给人一条窄路
保留一个常规分页条，并不等于回到笨拙的上一页/下一页体验。你可以让“加载更多”继续服务大多数用户，但在页面底部或侧边栏添加一组可点击的页码链接。它们不需要特别显眼，但必须有清晰的href和独立URL。比如：
- 每个分类列表继续生成 /list/1.html、/list/2.html 这样的静态分页URL；
- 第一页里放指向第二页的真实链接，第二页里再指向第三页，形成接力；
- 同时在页面底部保留“第1页 第2页 第3页”或“下一页”的HTML入口，即便样式弱化也没有关系。
这种分页不是为用户体验准备的，而是为搜索蜘蛛的链接遍历准备的。它像一条不起眼的备用楼梯，平时没什么人走，但关键时刻让每个内容房间都和新入口保持连通。
有些运营者会担心分页带来重复内容。其实只要每页内容有明显不同，并且用canonical标记指向第一页或带所有内容的全量版本，问题并不大。还可以在分页页面上加一个“查看全部”的链接，把多页的内容汇总到一个可索引页面。这既能增强页面主题的完整性，也让蜘蛛少走好几级台阶。
兜底策略不止分页，但要先保证基础链路完整
分页兜底是下限，不是上限。你还需要同时维护几个关键点：
- 站点地图sitemap要覆盖所有作为入口的列表页，甚至那些“加载更多”背后的深层分类页；
- 页脚或面包屑里加入栏目首页和归档首页的链接，让蜘蛛能从全站任何位置回到主干；
- 详情页正文底部增加“相关文章”或“上一篇/下一篇”模块，给蜘蛛提供旁路，而不是只依赖列表页；
- 避免用同一段JS反复拦截href跳转，如果必须做滚动加载，请保证真实链接始终存在于HTML源码里，只是用CSS隐藏或减少可见性也可以接受。
还有一种常见误区是：为了预防无限滚动导致链接缺失，就把所有内容都塞进单个XML文件或一个巨大列表页。这只会让页面体积膨胀，抓取成本反而变高。理想的逻辑不是隐藏链接，而是让链接分布更合理。蜘蛛会自己评估哪些URL值得抓取、哪些页面的入口更稳定。作为站点运营者，你要做的是保证每一条正常路径都指向真实内容，而不是制造一个只对搜索蜘蛛开放的暗门。
不要迷信蜘蛛池，回到站点自身的连通性
外人常把URL发现和“蜘蛛池”混为一谈，觉得只要批量造链接，搜索蜘蛛就会到来。但蜘蛛池本身不是站内机制，它本质上是一种外部干扰。对内容站点来说，最靠谱的做法是先把站内URL通道修通畅。列表页、栏目页、详情页如果不能彼此形成一张网，哪怕外部投再多的链接，蜘蛛进入后也走不远。无限滚动页面就是典型的“局部通畅、整体断头路”——用户在里面滑动很顺畅，蜘蛛却只能在入口处转圈。
用分页兜底只是其中一个细节。更宏观的视角是，你要把站内URL当作一个长期待命的路口系统。每当新增内容，就检查它是否能从列表页、标签页、站点地图等多个方向被触及；每当改版或更换JS交互，先问一句“这段代码去掉后，蜘蛛还能看到哪些链接”。只要这个答案不完全消失，URL发现就不会彻底停滞。
一个页面可以设计得再时尚，但如果它的下一批链接只能通过滚动加载产生，那么它在搜索蜘蛛眼里就只是一座孤岛。分页条或许是旧的，却是最容易理解的指路牌。
开发团队可能偏爱无限滚动的顺滑，SEO顾问会更关心列表页的可爬取深度。这两者并不需要二选一。在保留“加载更多”按钮的同时，增加一条干净、低样式占位的分页链接，成本不高，却能给蜘蛛留出一条稳定的下一跳路径。再配合sitemap更新和站内相关链接的推荐，即使在动态渲染的场景下，搜索蜘蛛也能抓到完整的内容轮廓。URL发现这件事，说到底不是依赖一个神奇工具，而是确保每个内容都有一个或者多个可被静态读取的入口。