列表页、栏目页、搜索结果页往往有分页。对蜘蛛来说，分页是进入内页的重要通道。如果翻页只靠 JS 按钮，或者页码地址乱七八糟，蜘蛛可能只看到第一页，后面的内容就少了一条发现路径。这篇文章整理分页与“加载更多”的常见形态和自查点，不承诺收录结果，只谈可操作的调整。
分页的几种常见形态
- 传统页码：底部或顶部有一排数字，点击跳到第 N 页，每页有独立 URL。
- 上一页/下一页：只有两个按钮，适合移动端，但深层页需要多次点击才能到达。
- 加载更多：点击按钮追加内容，地址栏可能不变，也可能变成 ?page=2。
- 无限滚动：滚动到底部自动加载，很多站点不更新 URL，蜘蛛很难知道还有后续内容。
常见问题
- 页码链接写成 javascript:void(0) 或纯 button，HTML 里没有可跟随的地址。
- 分页地址参数随意变换，今天用 ?page=2，明天用 ?p=2，后天用 /page/2，蜘蛛拿到的地址重复或中断。
- 第 1 页有无参数两个版本，比如 /list 和 /list?page=1，内容相同却各自可访问。
- canonical 全部指向第一页，后续页即使被抓到，也可能被判定为重复而不出现在索引。
- 加载更多没有独立 URL，蜘蛛点不到，后续内容只能靠其他内链发现。
- 每页条目太少，列表被拆成几十页，蜘蛛要翻很多次才能看完；条目太多，单页体积大，也不利于抓取。
自助排查步骤
- 用浏览器打开列表页，查看源代码，搜索分页区域的链接。页码是否以真实 a 标签和 href 存在？
- 关掉 JavaScript，刷新页面，看分页链接是否还能点击。如果不行，说明蜘蛛拿到的 HTML 里没有可用路径。
- 抓取工具或搜索命令查看分页 URL，确认参数格式统一，没有奇怪的 session 或时间戳。
- 检查分页页面的 title、description 是否合理，不要所有页都完全一样。
- 查看服务器日志中蜘蛛对分页地址的访问，是否大量返回 404、302 或重复抓取同一页。
- 确认第一页和后续页的 canonical 逻辑一致，通常分页页自我指向更合适，具体按站点情况决定。
分页地址怎么整理
先固定一种分页 URL 形式，比如 /list/page/2 或 /list?page=2，不要混用。如果保留参数分页，把无关参数去掉，避免排序、筛选、追踪参数跟着翻页链接一起出现。第一页尽量只保留一个地址，/list 和 /list?page=1 选一个，另一个做 301 或 canonical 处理。
分页页的 title 可以带上页码或区间，帮助区分。描述不必强求每页都写，但不要让所有页共用完全相同的模板描述。
加载更多与无限滚动
这类交互对用户友好，但对蜘蛛不够直接。比较稳妥的做法是：在页面里保留一个可点击的“查看全部”或“下一页”静态链接，指向对应分页地址。这样即使按钮不执行，蜘蛛也能沿链接继续。
如果使用无限滚动，可以考虑同步更新 URL，让每个滚动段落对应一个可访问地址。至少保证第一页 HTML 里能看到后续内容的入口，而不是只在用户滚动后才出现。
分页的目的是让用户和蜘蛛都能继续往下走。如果为了省事把所有翻页都塞进 JS，等于自己把通道收窄了。
与站点地图、内链的配合
列表页的第一页通常值得放进站点地图或导航中。后续分页不必全部提交，数量大时反而分散注意力。更重要的是让分页链接在 HTML 中自然存在，让蜘蛛从第一页顺着“下一页”往下爬。
如果某些深层列表内容重要但翻页太深，可以在相关文章、专题页或导航中加一条直达链接，减少点击层级。分页不是唯一路径，内链交叉往往更有效。
分页自查不需要一次改完。先确认 HTML 里有可跟随的翻页地址，再统一参数，最后处理 canonical 和加载更多的兜底链接。做完这些，蜘蛛能看到的列表就不只是第一页。