列表頁、栏目頁、搜尋结果頁往往有分頁。對蜘蛛来说，分頁是進入内頁的重要通道。如果翻頁只靠 JS 按钮，或者頁碼地址乱七八糟，蜘蛛可能只看到第一頁，後面的内容就少了一條發現路径。這篇文章整理分頁與“加载更多”的常见形態和自查点，不承诺收錄结果，只谈可操作的調整。
分頁的几種常见形態
- 传统頁碼：底部或顶部有一排數字，点击跳到第 N 頁，每頁有獨立 URL。
- 上一頁/下一頁：只有两個按钮，适合移動端，但深层頁需要多次点击才能到達。
- 加载更多：点击按钮追加内容，地址栏可能不變，也可能變成 ?page=2。
- 無限滚動：滚動到底部自動加载，很多站点不更新 URL，蜘蛛很难知道還有後續内容。
常见問题
- 頁碼連結寫成 javascript:void(0) 或纯 button，HTML 里没有可跟随的地址。
- 分頁地址參數随意變換，今天用 ?page=2，明天用 ?p=2，後天用 /page/2，蜘蛛拿到的地址重复或中断。
- 第 1 頁有無參數两個版本，比如 /list 和 /list?page=1，内容相同却各自可訪問。
- canonical 全部指向第一頁，後續頁即使被抓到，也可能被判定為重复而不出現在索引。
- 加载更多没有獨立 URL，蜘蛛点不到，後續内容只能靠其他内鏈發現。
- 每頁條目太少，列表被拆成几十頁，蜘蛛要翻很多次才能看完；條目太多，單頁体积大，也不利于抓取。
自助排查步骤
- 用浏览器打開列表頁，查看源代碼，搜尋分頁区域的連結。頁碼是否以真實 a 标簽和 href 存在？
- 關掉 JavaScript，刷新頁面，看分頁連結是否還能点击。如果不行，說明蜘蛛拿到的 HTML 里没有可用路径。
- 抓取工具或搜尋命令查看分頁 URL，確認參數格式统一，没有奇怪的 session 或時間戳。
- 检查分頁頁面的 title、description 是否合理，不要所有頁都完全一样。
- 查看服務器日誌中蜘蛛對分頁地址的訪問，是否大量返回 404、302 或重复抓取同一頁。
- 確認第一頁和後續頁的 canonical 逻辑一致，通常分頁頁自我指向更合适，具体按站点情况决定。
分頁地址怎么整理
先固定一種分頁 URL 形式，比如 /list/page/2 或 /list?page=2，不要混用。如果保留參數分頁，把無關參數去掉，避免排序、篩選、追踪參數跟着翻頁連結一起出現。第一頁尽量只保留一個地址，/list 和 /list?page=1 選一個，另一個做 301 或 canonical 處理。
分頁頁的 title 可以带上頁碼或区間，帮助区分。描述不必强求每頁都寫，但不要让所有頁共用完全相同的模板描述。
加载更多與無限滚動
這類交互對用戶友好，但對蜘蛛不够直接。比較稳妥的做法是：在頁面里保留一個可点击的“查看全部”或“下一頁”静態連結，指向對應分頁地址。這样即使按钮不执行，蜘蛛也能沿連結繼續。
如果使用無限滚動，可以考虑同步更新 URL，让每個滚動段落對應一個可訪問地址。至少保證第一頁 HTML 里能看到後續内容的入口，而不是只在用戶滚動後才出現。
分頁的目的是让用戶和蜘蛛都能繼續往下走。如果為了省事把所有翻頁都塞進 JS，等于自己把通道收窄了。
與站点地图、内鏈的配合
列表頁的第一頁通常值得放進站点地图或導航中。後續分頁不必全部提交，數量大时反而分散注意力。更重要的是让分頁連結在 HTML 中自然存在，让蜘蛛從第一頁顺着“下一頁”往下爬。
如果某些深层列表内容重要但翻頁太深，可以在相關文章、专题頁或導航中加一條直達連結，减少点击层級。分頁不是唯一路径，内鏈交叉往往更有效。
分頁自查不需要一次改完。先確認 HTML 里有可跟随的翻頁地址，再统一參數，最後處理 canonical 和加载更多的兜底連結。做完這些，蜘蛛能看到的列表就不只是第一頁。