分頁是最容易被忽略的抓取入口
有列表就有分頁。分頁連結通常由模板或插件自動生成，做完上线就没人再回头看。但列表頁的數量往往遠超正文頁：一個五百篇文章的栏目，按十篇一頁就是五十個地址；如果每頁還带排序、時間、分類參數，地址數量會成倍膨胀。這些頁面本身價值不高，却會持續占用抓取资源，也容易让新内容被發現的時間被推迟。因此分頁值得像別的运营項一样，定期拿出来過一遍。
先把站点里的分頁形式分清楚
传统頁碼翻頁
頁脚一串“1 2 3 … 下一頁”，每個頁碼都是獨立可訪問的地址。這種形式最容易被抓取，也最容易出問题：如果模板把頁碼一直延伸到几百頁，或者最後一頁之後還能繼續翻，就會出現大量空列表頁。
滚動加载與“加载更多”
内容靠 JavaScript 追加，地址栏不變。訪客体驗不错，但後續内容没有獨立地址，搜尋引擎很难發現，也没法單獨引用某一頁。至少應该提供一個可訪問的翻頁入口作為兜底。
參數拼接的分頁
形如 ?page=2&orderby=date&cat=5 的组合。參數越多，可组合出的地址越多，重复内容的風險也越高。需要確認哪些參數會影响列表内容，哪些只是排序或展示偏好。
逐項自查清單
- 打開任意一個列表頁，查看分頁連結是否指向真實可訪問的地址，而不是 href="#" 或 JavaScript 空連結。
- 翻到列表末尾，確認不會繼續生成空白頁；如果存在，检查是否返回了合适的狀態碼，而不是空頁面配 200。
- 检查分頁地址是否都被收錄或提交。通常只需要保留第一頁作為代表，後續頁允许抓取即可，不必强求索引。
- 確認分頁頁面上的 canonical 指向自身，而不是统一指回列表第一頁，否則後續頁的内容可能被忽略。
- 如果采用滚動加载，用無脚本方式打開頁面，看能不能找到進入後續内容的入口。
- 检查排序、篩選、视图切換參數是否會被拼進分頁連結，造成同一列表的多套地址。
- 观察日誌中列表頁的抓取频次，如果某個翻頁系列被抓得異常频繁，多半是連結结构有問题。
處理时的几個原則
让每一頁都有稳定地址。即便是滚動加载的站点，也應保留一個简單的翻頁入口，方便訪客分享、也方便搜尋引擎顺着走。
控制翻頁深度。运营上可以接受“最後一頁没人点”，但不要让抓取程序在空頁之間来回。给列表设一個合理的上限，超出部分通過归档或分類入口承接。
避免整頁标题雷同。分頁頁面的标题至少带上頁碼或内容范围，別让几十個頁面共用同一句话。
還有一点容易被忽略：分頁本身不是内容。如果站点長期靠翻頁列表撑頁面數量，而正文更新很少，那么再規范的翻頁结构也換不来價值。分頁是通道，不是目的地。
建议每季度挑一個内容量最大的栏目，從第一頁翻到最後一頁手動走一遍。很多分頁問题人工点一遍就能發現，不必等日誌报表。