列表頁翻到第 5 頁、第 20 頁，用戶很少点，蜘蛛却常常會顺着翻下去。分頁處理得不好，轻則浪費抓取，重則让蜘蛛在相似的列表里绕圈，把真正的内容頁挤到抓取队列後面。下面這份自查清單，适合在栏目改版、模板調整或流量異常波動时逐條過一遍。
為什么分頁容易被忽略
分頁通常由模板自動生成，改一次模板，几百個栏目的翻頁行為同时變化。它處在内容頁之前的中間层：不像首頁那样天天被盯着，也不像詳情頁那样有明确指标，出問题往往要等到抓取資料出現異常才被發現。
URL 形式自查
- 同一套分頁是否出現多種地址：/list/2/、/list?page=2、/list/page/2 都能打開，且互不指向同一版本。選一種作為規范形式，其余做 301 或至少统一輸出 canonical。
- 分頁地址是否带上了可以無限组合的篩選參數，例如“頁碼 + 排序 + 标簽”，導致蜘蛛每翻一頁都生成一批新地址。
- 頁碼規律是否清晰。第 1 頁最好就是栏目主地址，不要額外造一個 /list/1/ 與主地址並存。
連結可抓取性自查
- 翻頁按钮是普通連結，還是点击後由 JS 拼接地址。如果是後者，蜘蛛很可能拿不到。
- “下一頁”在最後一頁是否仍然存在但失效，或者指向一個空列表。
- 無限滚動是否提供了可点击的分頁入口作為兜底。
頁面自身的信号
标题與摘要
第 2 頁往後的标题如果和第一頁完全一样，蜘蛛需要額外判断這些頁面的差异。至少让标题带上頁碼或頁碼范围，描述不必重复堆同一批词。
canonical 與 noindex 的取舍
過去常用的 rel=next/prev 已被主流搜尋引擎弱化，現在更實际的做法是：把分頁頁当作正常頁面看待，canonical 指向自身。如果某個栏目翻頁深度极大，且深层頁面内容價值很低，再考虑對超深分頁單獨處理。切忌把第 2 頁 canonical 到第 1 頁，那會让列表里的部分連結失去入口意义，也可能让蜘蛛不再深入。
深度與效率
- 列表預設每頁條數是否過少，導致翻頁层數動辄几十层。适当提高單頁條數，可以明顯减少中間頁數量。
- 深层分頁是否仍然出現在主導航、侧栏或頁脚，造成站内連結被稀释。
- 是否给蜘蛛留下了自然的邊界，比如最後一頁不再輸出下一頁連結。
分頁不是可有可無的過渡頁。它决定了蜘蛛能不能從栏目走到你的具体内容頁，也决定了這些内容頁被發現的速度。
落地建议
- 固定一種分頁地址形式，其余做規范化處理。
- 保證翻頁連結由服務端直接輸出，而不是靠脚本临时拼接。
- 第 1 頁與栏目主地址合並，避免重复入口。
- 控制翻頁深度，必要时調整每頁條數。
- 對超深分頁先观察，而不是一上来就全站屏蔽。
怎么驗證
挑三到五個典型栏目，從第一頁手動走到最後一頁，记錄每一頁的地址、标题和是否可直接訪問。再對照服務器日誌，看蜘蛛實际走到了第几頁、停留在哪一层。如果蜘蛛長期只抓前两頁，先怀疑連結輸出；如果反复抓深层空頁，先怀疑邊界處理。改完观察一段時間，再看抓取分布是否變化。