列表页和分页入口是站点URL发现的主干道之一。很多站点首页、栏目页更新频繁，爬虫抓取也积极，但翻到第二页、第三页之后的链接往往被忽略。原因不一定是内容不好，而是分页结构对爬虫不够友好，或者把大量翻页URL变成了低质量重复页面。分页做得好，能帮助搜索蜘蛛沿着列表逐层发现详情页；做得乱，则会浪费抓取预算，还可能让重要内容长期沉在深层。
分页入口在URL发现中的位置
搜索蜘蛛发现URL的路径通常有几类：首页导航、栏目页、站点地图、外链和分页。分页的特殊之处在于，它连接的是同一类内容的多个页面，数量可能很多，而且会随内容增加不断出现新页。如果分页链接只靠JavaScript点击触发，或者翻页地址被robots.txt误封，蜘蛛就只能看到列表第一页。对内容量较大的站点来说，这等于把大量旧内容放在一个不易被发现的角落。
常见分页形态与抓取风险
数字翻页
传统的?page=2、/list/2/等形式对爬虫比较友好，只要链接是普通a标签，蜘蛛就能顺着抓取。需要注意的是分页页面的canonical。如果所有分页都指向第一页，后续页可能被当成重复内容，失去作为入口的意义。合理的做法是分页页canonical指向自身，同时让第一页保持稳定URL。若分页只是摘要列表，不打算参与排名，也可以保留可抓取但用noindex处理，具体看栏目规划。
加载更多与无限滚动
点击按钮追加内容、滚动到底部自动加载，这些交互对用户友好，但对蜘蛛不友好。初始HTML里如果没有下一页的链接，蜘蛛通常只能抓到第一页。解决思路是提供可抓取的a标签，例如在列表底部放“查看下一页”链接，或者在首次加载的HTML中包含后续页入口。也可在站点地图中提交重点列表的分页地址，但不要把所有参数组合都塞进去。
参数分页与筛选
排序、价格区间、标签筛选等参数会组合出大量URL，有些组合内容重复或为空，容易形成爬虫陷阱。建议保留核心分页路径，对无价值的筛选组合用robots.txt屏蔽或加noindex。分页参数不要叠加会话ID、追踪参数，否则同一页会裂变成多个地址。服务器端可对参数顺序做规范化，减少重复URL。
站点运营的落地做法
- 全站统一翻页规则，如/list/page/2/或?page=2，避免同一栏目出现多种分页格式。
- 翻页链接使用普通a标签，不要只依赖onclick或前端路由。
- 分页页面的title和h1带上页码或内容区间，避免所有页完全一样。
- 对需要收录的分页，canonical指向自身；对不需要的筛选页，用noindex或robots屏蔽。
- 在HTML站点地图页或栏目索引中给重点列表的若干页入口，帮助蜘蛛发现深层内容。
- 观察服务器日志中蜘蛛对分页的抓取频次。如果长期只抓第一页，检查是否被JS隐藏、被robots误封或响应过慢。
服务器维护与抓取压力
分页页通常要查询数据库，翻页越深，偏移量越大，响应可能越慢。爬虫密集抓取时，分页可能拖慢服务器。可以给分页加缓存，限制最大页数，对确实无内容的页码返回404或410。若列表是动态生成，考虑静态化或增加缓存层。不要为了省资源把所有分页都noindex，这会影响URL发现，需要结合栏目重要程度权衡。服务器稳定、响应及时，蜘蛛才更愿意继续翻页。
内容更新与分页的关系
新内容通常出现在列表第一页，旧内容逐渐下沉。蜘蛛通过第一页发现新链接，但历史内容还需要通过分页、时间归档、标签聚合等入口被发现。栏目规划时，可以设置“按时间归档”“热门列表”“相关推荐”等替代入口，减少对深层分页的依赖。定期检查分页是否有空页、重复页或失效页，避免软404堆积。分页不是越多越好，能通过其他入口发现的URL，不必强行制造大量翻页。
分页的价值在于帮助用户和搜索蜘蛛继续发现内容。先保证链接可抓取、状态码正常、页面不重复，再考虑是否用蜘蛛池或外链引导抓取。结构清晰的分页，比短期抓取量更有长期意义。
把分页当成站点结构的一部分来维护：统一规则、保留入口、控制参数、观察日志、兼顾服务器压力。这样搜索蜘蛛在发现URL时会更顺畅，站点运营也能更清楚地知道哪些内容被看到、哪些还需要补入口。