很多内容型網站在列表頁里用上了“点击加载更多”或“無限滚動”。這種交互确實让用戶停留時間變長，也减少了翻頁的摩擦。但從搜尋蜘蛛的视角看，頁面中的内容並不是都有URL，甚至很多内容根本没有被寫在HTML里。搜尋蜘蛛在發現URL這件事上，依赖的是可解析的超連結，不是用戶的点击行為。一個列表頁如果只有第一屏有真實連結，其余内容靠JavaScript触發動態追加，那么蜘蛛能看到的新URL就會少得可怜。
無限滚動為什么會让URL發現“短路”
搜尋蜘蛛不像真實用戶那样能在頁面上拖動或点击“加载更多”。它只讀取初始HTML源代碼中的href属性，然後沿着這些連結繼續爬。無限滚動通常只保留前几項或几十項的連結，後面的内容统统放在一個JavaScript數组或接口返回資料里。對爬虫来说，這些内容等于不存在。舊文章如果只能通過這種列表入口被找到，那随着滚動加载的URL不被暴露，它們就會逐渐變成孤儿頁面。
更麻烦的是，一些站点為了强制用戶使用滚動加载，干脆把传统的分頁條删掉了。乍看頁面很干净，實际上等于告诉蜘蛛：“這里只有一扇门，而且门後面没有下一扇门。”一旦這個頁面的權威性下降，蜘蛛再来时可能只抓一個壳，深层内容完全無法進入。URL發現鏈路會從根部断掉。
分頁兜底：给蜘蛛一條宽路，也给人一條窄路
保留一個常規分頁條，並不等于回到笨拙的上一頁/下一頁体驗。你可以让“加载更多”繼續服務大多數用戶，但在頁面底部或侧邊栏添加一组可点击的頁碼連結。它們不需要特別顯眼，但必须有清晰的href和獨立URL。比如：
- 每個分類列表繼續生成 /list/1.html、/list/2.html 這样的静態分頁URL；
- 第一頁里放指向第二頁的真實連結，第二頁里再指向第三頁，形成接力；
- 同时在頁面底部保留“第1頁 第2頁 第3頁”或“下一頁”的HTML入口，即便样式弱化也没有關系。
這種分頁不是為用戶体驗准备的，而是為搜尋蜘蛛的連結遍歷准备的。它像一條不起眼的备用楼梯，平时没什么人走，但關键时刻让每個内容房間都和新入口保持连通。
有些运营者會担心分頁带来重复内容。其實只要每頁内容有明顯不同，並且用canonical标记指向第一頁或带所有内容的全量版本，問题並不大。還可以在分頁頁面上加一個“查看全部”的連結，把多頁的内容匯總到一個可索引頁面。這既能增强頁面主题的完整性，也让蜘蛛少走好几級台阶。
兜底策略不止分頁，但要先保證基础鏈路完整
分頁兜底是下限，不是上限。你還需要同时维護几個關键点：
- 站点地图sitemap要覆盖所有作為入口的列表頁，甚至那些“加载更多”背後的深层分類頁；
- 頁脚或面包屑里加入栏目首頁和归档首頁的連結，让蜘蛛能從全站任何位置回到主干；
- 詳情頁正文底部增加“相關文章”或“上一篇/下一篇”模块，给蜘蛛提供旁路，而不是只依赖列表頁；
- 避免用同一段JS反复拦截href跳轉，如果必须做滚動加载，請保證真實連結始终存在于HTML源碼里，只是用CSS隐藏或减少可见性也可以接受。
還有一種常见誤区是：為了预防無限滚動導致連結缺失，就把所有内容都塞進單個XML文件或一個巨大列表頁。這只會让頁面体积膨胀，抓取成本反而變高。理想的逻辑不是隐藏連結，而是让連結分布更合理。蜘蛛會自己评估哪些URL值得抓取、哪些頁面的入口更稳定。作為站点运营者，你要做的是保證每一條正常路径都指向真實内容，而不是制造一個只對搜尋蜘蛛開放的暗门。
不要迷信蜘蛛池，回到站点自身的连通性
外人常把URL發現和“蜘蛛池”混為一谈，觉得只要批量造連結，搜尋蜘蛛就會到来。但蜘蛛池本身不是站内机制，它本质上是一種外部干扰。對内容站点来说，最靠谱的做法是先把站内URL通道修通畅。列表頁、栏目頁、詳情頁如果不能彼此形成一張網，哪怕外部投再多的連結，蜘蛛進入後也走不遠。無限滚動頁面就是典型的“局部通畅、整体断头路”——用戶在里面滑動很顺畅，蜘蛛却只能在入口處轉圈。
用分頁兜底只是其中一個细节。更宏观的视角是，你要把站内URL当作一個長期待命的路口系統。每当新增内容，就检查它是否能從列表頁、标簽頁、站点地图等多個方向被触及；每当改版或更換JS交互，先問一句“這段代碼去掉後，蜘蛛還能看到哪些連結”。只要這個答案不完全消失，URL發現就不會彻底停滞。
一個頁面可以设計得再时尚，但如果它的下一批連結只能通過滚動加载产生，那么它在搜尋蜘蛛眼里就只是一座孤岛。分頁條或许是舊的，却是最容易理解的指路牌。
開發团队可能偏爱無限滚動的顺滑，SEO顾問會更關心列表頁的可爬取深度。這两者並不需要二選一。在保留“加载更多”按钮的同时，增加一條干净、低样式占位的分頁連結，成本不高，却能给蜘蛛留出一條稳定的下一跳路径。再配合sitemap更新和站内相關連結的推荐，即使在動態渲染的场景下，搜尋蜘蛛也能抓到完整的内容轮廓。URL發現這件事，说到底不是依赖一個神奇工具，而是确保每個内容都有一個或者多個可被静態讀取的入口。