列表页和分页是站点里数量最容易被低估的一类地址。一个分类下几十条内容，配上每页 10 条的分页，就是几十个 URL；如果再加上排序、时间筛选、每页条数这些参数，地址数量会迅速膨胀。这些页面本身有访问价值，但如果没有边界，蜘蛛很容易把抓取预算耗在永远翻不到头的列表里。
先数清楚：分页到底有多少个地址
动手治理之前，先在服务器日志里做一次统计，看看蜘蛛实际抓了哪些列表页和分页地址，各自被抓了多少次，返回状态是什么。很多问题不是猜出来的，是数出来的。
- 统计每个栏目的分页总深度，超过 30 页的分页要重点看。
- 看分页 URL 是否带参数，参数顺序是否稳定。
- 看是否有页面返回 200 但内容为空，或者内容与上一页大量重复。
- 看蜘蛛是否在深层分页上反复抓取，却很少访问内容页。
分页 URL 的写法要统一
路径式
形如 /column/page/2/ 的写法，结构清晰，便于在日志中归类和统计，也方便后续做规则匹配。缺点是每一页都是一个独立路径，数量会线性增长。
参数式
形如 /column?page=2 的写法改版成本低，但要保证参数顺序、大小写、是否带其他筛选参数都稳定。同一个页面出现多种拼写方式，等于凭空造出一批重复地址。
不管用哪种写法，同一个分页只应有一个规范地址，页面上其他形式的入口都指向它，避免同一页出现多个版本。
让蜘蛛翻得动，但别让它翻不到头
分页链接必须是 HTML 里可以直接抓到的 a 标签。很多站点用“加载更多”按钮配合脚本请求数据，视觉上没问题，但蜘蛛顺着链接爬的路径就断了。如果确实要做异步加载，至少在页面上保留可点击的传统分页链接。
对于深度很大的分页，常见做法是保留前若干页的抓取入口，更深的分页不再主动暴露链接，同时在 robots.txt 或页面 meta 层面做相应处理。需要提醒的是，被 robots.txt 阻止抓取的地址仍可能因为外链等原因出现在索引里，所以更稳妥的方式是让这些深层分页不再被链接到，或者内容确实不值得留存时直接做减页处理。
空分页和越界参数要有明确交代
参数被随意改动后，常常出现 ?page=999 这种没有内容的地址。如果它返回 200 加一句“暂无内容”，就会被当成正常页面；比较合适的处理是返回 404，或者重定向回该栏目的第一页或最后一页，并保持状态码语义正确。
另外，筛选参数与分页参数叠加时，尽量让组合数量可控。比如只允许筛选条件在首页生效，进入第二页即回到无筛选状态，避免出现几百种参数组合。
列表页自身也要有内容
列表页不只是标题的堆叠。给栏目加一段简短的介绍、说明收录范围或更新频率，能让页面有独立的信息增量。列表页的标题和描述也值得单独设计，避免所有分页共用同一套模板文字，造成大量近似页面。
一份可以照着做的检查清单
- 从日志中导出列表页与分页的抓取记录，标注状态码与抓取频次。
- 确认分页链接在 HTML 中可抓取，不依赖脚本注入。
- 统一分页 URL 形式，多余写法做 301 或收敛入口。
- 为越界分页、空结果页设定明确的状态码与跳转规则。
- 限制筛选参数与分页参数的组合方式，给出数量上限。
- 为深层分页设定边界，超过阈值的页面不再主动暴露链接。
- 给栏目页补一段独立说明文字，检查标题描述模板是否雷同。
- 调整后隔一到两周再看一次日志，确认抓取分布是否变化。
分页治理的目标不是把页面删到最少，而是让每一个保留下来的列表地址都有清楚的位置、明确的状态和可预期的抓取成本。
做完这些，通常不会立刻看到什么戏剧性的变化，但日志里深层分页的抓取次数会慢慢下降，内容页被访问的比例会逐步回升。这本身就是站点结构在往健康方向走的信号。