列表頁和归档頁往往靠翻頁把内容铺開。翻頁本身不复杂，但它牵涉到連結可抓取、參數寫法、規范化指向和抓取预算分配几個方面，一旦放任不管，容易出現同一批内容被反复抓取，或者第 2 頁之後長期没人訪問的情况。這篇把分頁相關的自查点整理成一份可以直接照着做的清單。
先看清翻頁的几種形態
不同形態的處理方式不一样，先確認站点目前用的是哪一種。
- 路径式：如 /list/page/2/，结构清晰，通常比參數式更容易被稳定识別。
- 參數式：如 /list/?page=2，實現简單，但要注意參數顺序、大小寫和多余參數带来的重复。
- 滚動加载：前端自動追加内容，没有獨立地址，抓取通常只能到第一屏為止。
- 按钮点击：用 JS 绑定点击事件翻頁，翻頁控件不是 a 标簽，抓取鏈條容易断在這里。
分頁導航自查清單
- 翻頁連結是否是真連結。查看源碼，確認「下一頁」是 a 标簽並带 href，而不是 span 加 onclick。只有真連結，路径才走得下去。
- 首尾頁是否可達。很多站点只在底部放「下一頁」，第 10 頁之後要一路点過去。可以考虑补上「末頁」或頁碼跳轉，减少抓取深度。
- 參數是否统一。同一份列表，避免同时存在 ?page=2、?Page=2、?page=2&from=xxx 等多種寫法。保留一種，其余用重定向或規范化收拢到主地址。
- 翻頁頁的标题是否有区分。如果第 2 頁和第 1 頁标题完全一样，在结果列表里看着像重复内容，可以带上頁碼或内容区間信息。
- 規范化指向是否自洽。每一頁指向自己，不要把第 2 頁之後的地址全部指回第 1 頁。
- 空頁與越界頁。測試 page=99999 這類地址，確認返回 404 或跳回第一頁，而不是空白頁或大段無内容列表。
- 篩選與排序參數。颜色、價格、排序等條件组合出的地址數量可能非常庞大，建议只保留少數有检索價值的组合，其余不輸出連結或單獨控制。
- 移動端表現。手机上的翻頁按钮是否容易点到，滚動加载是否提供了可分享、可回訪的地址。
翻頁與收錄邊界
不是所有翻頁頁都需要進入索引。内容量大的站点，可以让前若干頁保留索引，之後的頁面只作為抓取通道存在。常见做法有：
- 保留連結可抓取，但用 meta robots 的 noindex 控制收錄。
- 對無意义的高頁碼设一個上限，超出後返回 404。
- 在分頁導航里同时给出「上一頁」和「下一頁」，方便分辨序列方向。
如果站点同时存在列表頁、聚合頁和标簽頁，要留意它們之間的内容重叠程度，必要时把其中一個定為主入口，其余收敛過去。
放進固定的维護节奏
分頁問题通常不是一次性解决的。栏目改版、模板調整、前端換框架，都可能让翻頁連結回退成不可抓取的形態。可以把它放進巡检項里，每隔一段時間抽查几個栏目：打開一個列表，看第 1 頁、中間某一頁和最後一頁，確認連結可抓、狀態碼正常、規范化指向正确、空頁有兜底。
翻頁的價值在于让内容有连續可走的路径，而不是制造無穷無尽的地址。把邊界划清楚，比把所有頁面都交出去更實际。