列表頁翻頁是站内很常见的结构：一頁 20 條，翻到第 5 頁、第 20 頁。這些頁面要不要让搜尋蜘蛛抓、要不要留在索引里，很多站長其實是靠預設設定决定的——分頁連結照常輸出，也没做任何處理。等到發現收錄量虚高、或者列表頁把詳情頁的位置挤掉，才開始回头收拾。
先想清楚分頁頁承担什么
分頁頁的本质是把一组同主题内容切開展示，它本身很少是用戶搜尋的终点。用戶搜的是某一條具体内容，或者某一類内容的入口，而不是“第 7 頁”。這說明大多數分頁頁的索引價值偏低，但低價值不等于零價值，判断要落到具体站点類型上。
- 电商分類頁：翻頁後仍是同類商品，第 2 頁之後彼此重复度高，獨立信息有限。
- 文章列表或归档頁：如果按時間、标簽聚合，翻頁往往只是同一批 URL 的不同排列。
- 站内搜尋结果頁、篩選结果頁：通常不建议放開，容易生成大量近似 URL，也难有稳定标题。
常见的三種處理方式
一、全部放開，用 canonical 指向第一頁
做法最简單，代價是把抓取预算花在重复度很高的頁面上；而且 canonical 属于建议信号，最终归並结果不一定完全符合预期，需要观察後再調。
二、放開前几頁，後面的用 noindex 或不再輸出連結
比較折中的思路，通常保留第 1 頁可索引，第 2 到第 3 頁视内容情况處理，更靠後的翻頁頁收起来。
三、整组收起来，只让第 1 頁進入索引
适合内容高度同质、翻頁只是排序變化的场景。前提是詳情頁還有別的發現路径，不會因此變得孤立。
做决定前要確認的几件事
- 詳情頁是否只靠列表頁翻頁被發現？如果是，砍掉分頁連結可能让一部分深层 URL 失去入口。
- 分頁 URL 的形式是否统一？page=2、/page/2/、p=2 加排序參數混用，會把同一批内容拆成多套地址。
- 每頁條數是否稳定？條數改来改去，會让同一條内容在不同 URL 之間来回挪動，索引也跟着反复。
- 有没有 XML 站点地图覆盖詳情頁？有的话，分頁頁承担的主要是用戶浏览，而不是發現。
如果决定放開，顺手做這几步
- 分頁 URL 固定一種形式，參數顺序、大小寫、末尾斜杠都统一。
- 给分頁頁寫能区分的标题，至少不要和第一頁完全相同，描述也不要照抄。
- 第 1 頁 canonical 指向自己，理清自指關系；不要一邊把所有分頁都指向第一頁，一邊又指望它們各自被獨立索引。
- 詳情頁數量大时，把站点地图和内鏈這條更稳的發現路径补齐，別让發現全靠翻頁。
如果决定收起来
收起有两種方式，效果差別不小。用 noindex 是允许抓取但不索引，頁面仍會消耗一部分抓取资源；直接不在 HTML 里輸出分頁連結，則连發現路径一起断開，需要確認底部導航、站点地图或“查看更多”能补上入口。
不要一邊用 robots.txt 屏蔽分頁目錄，一邊又指望 noindex 生效——被 robots.txt 挡住的頁面，搜尋蜘蛛看不到頁面里的 noindex，标簽也就無從执行。
改完怎么看结果
調整之後至少观察两到四周。可以看日誌里分頁 URL 的抓取频次是否下降、詳情頁的抓取是否上升；再看索引中分頁頁面的數量變化，以及這些頁面的展現和点击是否轉移到了第 1 頁或詳情頁。如果分頁抓取下来了，詳情頁抓取却也没上来，多半說明發現路径被切断，需要把内鏈或站点地图补回来。
分頁收錄没有统一答案，判断标准其實很朴素：這個頁面有没有獨立于第一頁的信息，用戶有没有可能直接落在它上面。答案是否定的，收起来通常更省事；答案不确定的，先放開一小段，用日誌和索引狀態看两三周，再决定去留。