蜘蛛是怎么顺着分页往下走的
大多数站点的分页链接都写在列表页的 HTML 里，比如「下一页」「2」「3」。蜘蛛从列表第一页进来后，会把这些链接当成普通内链处理，逐页跟进。也就是说，分页是站内最稳定的一条 URL 发现路径，比被动等 sitemap 被读取要直接得多。
但这条路径能不能走通，取决于分页链接是不是真的写在 HTML 里。现在很多列表页把「下一页」做成按钮，点击后由 JS 请求数据再渲染，HTML 里既没有 href，也没有可跟随的地址。蜘蛛看到的就是一个死胡同——第一页之后的 URL 它根本发现不了。
翻得越深，页面本身越不值钱
分页翻到第 5 页、第 10 页以后，列表上展示的条目和第 1 页高度重合，页面独有的内容越来越少。这类地址即使被抓到，也很容易停在「已发现但未编入索引」的状态，或者收录后长期没有展现。原因不难理解：一个页面如果只是把同样的内容换个顺序再列一遍，搜索引擎没有理由把它当成独立结果呈现。
所以判断标准可以简单一点：这一页上有没有用户会主动搜索、且站内别处看不到的信息。如果没有，它更适合作为抓取通道，而不是索引目标。
几种常见的分页写法问题
- 只有「下一页」，没有页码跳转。蜘蛛只能一页页往前走，抓取资源被大量消耗在低价值页面上，深层的优质条目反而排不上。
- 每页数量可变。?per_page=20 和 ?per_page=50 生成的是两套地址，内容几乎一样，等于人为制造重复页面。
- 第一页有两个地址。/list/ 和 /list/page/1 内容相同，需要明确保留一个，另一个做跳转或规范化。
- 分页和排序、筛选参数混在一起。同一批内容能组合出成百上千个 URL，抓取会被摊薄。
- 指望 rel="prev"/"next" 解决重复。主流搜索引擎早已不再把它当作索引信号，它顶多算个提示，不要指望它来合并页面。
深分页该不该进索引
比较稳妥的做法是分开看：前几页通常有独立的浏览价值，可以正常放开；往后翻的页面，如果只是同一批条目的重复排列，可以考虑不让它进索引，但保留链接，让蜘蛛继续跟进更深层的内容。这里要注意，加了 noindex 的页面短期内仍然会被抓取，链接也会被跟随，只是搜索引擎对这类页面的回访意愿会慢慢降低，别把整条路径都堵死。
另一个思路是从根上减少对深分页的依赖：给内容补上按时间、按分类、按主题的归档入口，让同一批条目有多条更容易被发现的路径，而不是全部挤在「下一页」这一个按钮上。
有独立价值的页，尽量别只靠分页被发现
如果一个页面确实值得被收录，却只被埋在列表第 8 页，等于把被发现的机会交给运气。可以做的事包括：在相关文章、正文推荐位、栏目页里给出指向它的内链；把它写进 sitemap；用明确的锚文本说明它讲什么，而不是统一写成「查看更多」。
怎么检查现状
- 抓一次列表页的 HTML，确认「下一页」是 a 标签且有可访问的 href。
- 看站内被索引的地址里，分页 URL 占多大比例。占比很高，通常说明可索引的独有内容供给不足。
- 看服务器日志里分页 URL 的抓取深度和频次，判断蜘蛛大致停在第几页。
- 抽查深分页地址的收录状态，看它们是不是长期停在「已发现但未编入索引」。
分页解决的是「怎么让蜘蛛继续往下走」，解决不了「这一页值不值得进索引」。两件事分开处理，站点会清爽很多。