列表頁和分頁往往是站点里最容易被忽略的部分。首頁、栏目頁、文章頁通常有人盯着，但“第 5 頁之後”的頁面，可能連結寫错了、參數混乱、内容重复，甚至根本抓不到。對于靠蜘蛛發現 URL 的站点来说，分頁路径是否清楚，會直接影响舊内容還能不能被翻出来。
先確認分頁到底長什么样
不同站点的分頁實現差別很大，先把自己站点的類型對号入座：
- 路径式分頁：如 /list/page/2/，结构清楚，每頁有獨立地址。
- 參數式分頁：如 /list?page=2，可用，但要留意參數顺序和大小寫是否统一。
- 按钮加载：点击“加载更多”後用 JS 追加内容，地址栏不變。
- 無限滚動：滚動到底自動加载，没有可点击的下一頁連結。
路径式和參數式對抓取更友好，後两種如果只靠脚本，蜘蛛通常只能看到第一屏内容。可以用“查看源代碼”或抓取工具確認：分頁連結是否以 a 标簽出現在 HTML 里。
分頁自查的六個点
- 每頁是否有獨立 URL。如果第二頁、第三頁共用同一個地址，蜘蛛就没有入口繼續往下翻。
- 是否有上一頁/下一頁連結。不要只放數字頁碼，上一頁、下一頁的文字連結更明确。
- 分頁連結是否可点击。用键盘 Tab 能聚焦，鼠标能点開，而不是只能靠脚本跳轉。
- 列表頁标题是否重复。如果所有分頁的 title 都一样，建议至少体現“第 N 頁”，但不必堆關鍵詞。
- 空頁和超出范围的頁碼。訪問 /page/999 时返回 404 還是空白 200？返回 404 更干净，避免蜘蛛反复抓空列表。
- 排序參數是否被大量抓取。?order=asc、?order=desc 這類參數如果都能訪問，容易产生多份相似列表。可以用 robots.txt 或參數處理規則收敛。
別让舊内容埋在翻頁深處
分頁越深，蜘蛛到達的概率越低。一個栏目如果一年积累几千條内容，按每頁 10 條算，第 300 頁基本不會被訪問。與其指望蜘蛛翻到底，不如在栏目規划上做几件事：
- 给重要舊文做专题聚合頁或年度归档頁，用人工入口替代深层翻頁。
- 在文章底部放相關阅讀，把舊内容從詳情頁串起来。
- 把热门内容或編輯推荐做成固定模块，不依赖時間排序。
- 控制列表每頁數量，避免單頁過重，也不要少到需要翻几十頁。
列表頁本身也要像入口一样维護
列表頁不只是文章标题的堆叠。它需要有自己的摘要、分類說明或篩選维度，让頁面有獨立價值。如果列表頁只是机械地搬运标题，和搜尋结果頁、标簽頁大量重复，收錄價值會打折扣。
另外，列表頁的更新频率通常高于文章頁。如果栏目内容更新了，列表頁却缓存很久，蜘蛛来了看到的是舊列表，新文章連結也發現不了。可以在缓存策略里對列表頁單獨設定較短的過期時間。
检查與维護习惯
不需要每天翻一遍所有分頁，可以按月做一次抽查：
- 随机点開几個栏目，翻到第 2、3 頁，確認連結正常。
- 用站点地图或日誌，看看分頁地址是否被抓取過。
- 如果改過分頁規則，检查舊地址是否還能訪問，必要时做跳轉。
- 清理長期没有内容的空栏目，避免产生空列表頁。
分頁的作用是让内容可發現，不是制造更多可抓取地址。頁面數量多不等于结构好，能把舊内容送到入口面前才算有效。
把分頁和列表頁当成站点结构的一部分来打理，比一味增加内容更容易看到效果。蜘蛛的抓取预算有限，路径清楚、入口明确，才有机會让更多頁面被看到。