列表頁往往是一個站点里數量最多的頁面類型。做蜘蛛池投放时，很多人的首頁和詳情頁安排得很细，轮到列表頁分頁就随手把一整串 URL 丢進入口頁。结果要么抓取预算被大量低價值分頁吃掉，要么真正需要被發現的分頁一直没有動静。
先分清哪類分頁值得被發現
列表頁分頁大致分两類：一類是内容持續产出、翻頁後仍有獨立價值的，比如分類頁、标簽聚合頁；另一類只是展示方式，翻到很後面内容價值已经很低。投放前先给自己一個判断：這一頁如果被單獨搜到，用戶是否愿意点進去？愿意，就值得進清單；不愿意，就没必要占用入口頁的位置。
另外要注意，有些站点的分頁是“加载更多”形式的無限滚動，翻頁地址不會出現在 HTML 里。這種结构下，搜尋蜘蛛很难顺着入口頁走到後續分頁，需要先补一個可抓取的 a 标簽分頁導航，再谈投放。
入口頁该鏈到哪些分頁
- 優先投放一級列表頁和核心分類的第一頁；
- 每個分類只放前两到三頁分頁，後面的交给站内分頁導航自然發現；
- 分頁地址带上完整參數，不要寫成省略參數的简寫形式；
- 同一批清單里，避免把同一個分類的第一頁到第五十頁全部塞進一個入口頁。
分頁連結的寫法要注意什么
常见問题是分頁連結靠 JS 拼參數或者 onclick 事件触發，HTML 源碼里拿不到真實地址。搜尋蜘蛛执行脚本的能力有限，遇到這種情况通常不會繼續跟進。建议分頁導航统一用静態連結寫法，href 指向完整可訪問的地址，並且每一頁都能獨立打開。
如果站点用 rel=next / rel=prev 标注分頁，可以保留，但不要把它当成替代方案。它只是一種提示，並不保證搜尋蜘蛛按這個顺序抓取，入口頁里的真實連結才是主要的發現路径。
參數與重复内容怎么處理
带參數的列表頁容易被搜尋引擎视為同一頁面的多個變体。排序參數、篩選參數、會话參數叠在一起，會产出大量近似地址。投放前先做一次归一化：
- 去掉會话類和追踪類參數，例如 utm、sid；
- 排序、篩選參數如果内容差异不大，只保留預設排序版本；
- 检查 canonical 是否指向自身，避免所有分頁的 canonical 都指向第一頁，導致後續分頁被合並。
如果确實希望後續分頁被單獨抓取，canonical 指向自身更合适；如果只想让搜尋引擎知道内容主体在第一頁，就没必要把分頁大量投放。
投放节奏怎么安排
- 第一次先投少量核心分類的分頁，观察抓取日誌；
- 確認搜尋蜘蛛能正常跟進後，再按分類分批补充；
- 分頁清單按周维護，新增栏目再补投，不要一次全量重投。
怎么確認搜尋蜘蛛跟進了分頁
最直接的方式是看服務器日誌里對應分頁地址的訪問记錄，並按 UA 区分搜尋蜘蛛和其他爬虫。如果入口頁有訪問、分頁没有訪問，多半是分頁連結寫法或可訪問性問题，而不是投放量不够。也可以用抓取工具在關閉 JS 的情况下模拟一次，看分頁導航是否還能看到。
分頁投放的關键不是投得多，而是让搜尋蜘蛛沿着一條走得通、讀得懂的路径，走到真正有價值的頁面上。