列表页和分页通常是蜘蛛发现内容的主要路径。栏目页、标签页、搜索结果页、文章归档页，只要带翻页，就可能产生大量地址。如果分页处理得随意，蜘蛛会在重复标题、空页面和参数组合之间来回走，真正需要抓取的详情页反而被排在后面。
先分清几种分页形态
不同实现方式对抓取的影响不一样，自查前先确认站点用的是哪一种。
- 传统分页链接：通过 ?page=2、/list_2.html 这类地址翻页，链接可直接点击，蜘蛛一般能顺着走。
- 加载更多：点击后由 JS 追加内容，地址不变。如果没有配套的翻页链接，后续内容对蜘蛛基本不可见。
- 无限滚动：滚动到底自动加载。体验流畅，但蜘蛛不会滚动，容易只拿到第一屏。
- 查看全部：把所有内容堆在一个长页面。可能造成超大页面和重复内容，也可能拖慢渲染。
分页自查清单
- 分页地址是否返回 200。有些站点翻到某一页后直接 404 或跳回第一页，蜘蛛会把这些地址记为失效，浪费抓取。
- 分页链接是否真实存在。加载更多和无限滚动至少要提供一组 a 标签指向后续分页，例如 /list?page=2，让蜘蛛有路径可走。
- 每页标题与描述是否重复。如果第 2 页、第 3 页和第一页共用同一套 title、description，蜘蛛很难判断页面差异。可以在标题里带上页码或区间，但不必过度堆砌。
- 是否产生空分页。数据不足时仍能翻到第 50 页，页面没有内容或只有提示语，这类地址应尽早收敛，避免被反复抓取。
- 排序与筛选参数是否和分页叠加。?sort=price&page=3&color=red 这类组合会派生大量地址。建议只保留少数有检索价值的排序方式，其余参数用 robots.txt 或 noindex 处理。
- 分页深度是否过深。如果一个栏目有几百页，蜘蛛不可能全部读完。把更新时间新、点击量高或人工推荐的内容排在前几页，后面的分页可以限制抓取或做适当收敛。
处理思路
分页治理的目标不是让蜘蛛抓完所有页，而是把有限的抓取引导到有价值的详情页上。可以从几个方向入手。
- 保留可抓取的翻页链接。即使前端使用加载更多，也建议在页面底部或 HTML 中输出真实分页链接，作为兜底路径。
- 控制分页深度。只让前若干页参与抓取和索引，更深的页面可以通过 rel=nofollow 或 robots.txt 限制，也可以让它们返回 200 但设置 noindex。具体用哪种，要看这些页面本身有没有搜索需求。
- 区分排序与筛选页面。如果排序方式对用户有价值，可以保留少量入口；纯参数组合页面尽量收敛，避免和主分页抢入口。
- 给重要内容更多入口。除了列表页，还可以通过专题页、相关阅读、站点地图等方式把详情页暴露出来，减少对翻页深度的依赖。
用日志验证效果
调整之后，不要只看前端表现。翻出服务器日志，按路径统计分页地址的抓取次数、返回状态和响应时间。重点看三类情况：分页地址是否仍有大量 404；蜘蛛是否反复抓取同一组分页参数；详情页的抓取量有没有被分页挤占。如果分页抓取占比很高，而详情页收录没有变化，说明入口和收敛策略还需要再调。
分页不是越多越好，也不是越少越好。能走通、不重复、有明确停止位置，比让蜘蛛一直翻下去更重要。