列表頁的第一頁往往是全站流量最集中的地方,第二頁之後的訪問量會迅速下滑。這本身不算異常,但如果连站内路径都断掉了,那么沉淀在列表深處的舊内容就几乎等于不存在。分頁導航看起来只是「上一頁 / 下一頁」两個按钮,實际牵扯到連結可抓性、URL 唯一性、翻頁深度和内容归档几個問题。
分頁常见的問题
先把容易出問题的地方列出来,再逐條對照自己的站点。
- 用脚本拼接翻頁:按钮是 div 或 span,点击後靠脚本請求資料,連結里没有真正的地址,蜘蛛顺不下去。
- 分頁 URL 不统一:同一頁在不同入口下變成 /page/2、?page=2、?paged=2 多種形式,内容重复。
- 「下一頁」指向第一頁:最後一頁的按钮没做禁用,仍然指回自身或首頁,形成循环。
- 翻頁深度失控:上百分頁全部可点,蜘蛛把大量抓取額度花在几乎没人看的深层列表上。
- 參數随意附加:排序、篩選、每頁條數等參數與分頁叠加,生成大量内容相近的地址。
一份可以照着做的自查清單
- 禁用 JavaScript 後重新打開列表頁,確認「下一頁」仍是可点击的 a 标簽,而不是点了没反應的按钮。
- 查看分頁連結的 href,確認是完整地址,而不是 # 或脚本占位符。
- 確認全站分頁只有一種 URL 規則,別让路径式和參數式同时存在。
- 点開最後一頁,確認「下一頁」已经禁用或消失,不會再次指回第一頁。
- 检查排序、篩選參數與分頁叠加後是否产生大量相近頁面,必要时限制參數组合被大量抓取。
- 看列表頁每頁條數,過少會让翻頁层數變多,過多則單頁体积偏大,按内容類型挑一個折中值。
- 確認分頁連結有正常的锚文本,而不是全部叫「点击這里」或「更多」。
- 從站内搜尋或站点地图找回几篇舊文,確認它們至少能從列表頁或归档頁走到。
翻頁深度怎么控制
不是所有内容都值得無限翻下去。對时效性强的新闻列表,前几頁價值最高,後面的可以逐步收窄;對教程、资料類栏目,可以保留較深的翻頁,但最好同时提供按分類、标簽或時間归档的入口,让舊内容有另一條路径可達。
如果某個列表已经积压了几百頁,與其纠结分頁本身,不如考虑把内容拆到更细的栏目,或者用归档頁把同一類内容收拢。结构清楚之後,分頁深度自然會降下来。
蜘蛛抓取與分頁的關系
蜘蛛進入一個列表頁,靠的是頁面里的連結逐层往下。如果第二頁只能通過脚本触發,那么它看到的就只是一個内容有限的頁面。反過来,也不需要為了让每頁都被抓取而堆砌大量無意义的分頁連結——入口清楚、路径不重复,比數量更重要。
分頁的目的不是让蜘蛛翻到最後一頁,而是让有用的内容在站内有清晰的路径可達。抓取深度是结果,不是目标。
几個容易忽略的细节
- 分頁頁面不要和正文頁共用同一套标题模板,否則會出現几十個几乎一样的标题。
- 移動端常用「加载更多」,检查它在無脚本时是否留下一個指向下一頁的連結。
- 列表頁摘要如果全站统一截断,考虑是否给每篇内容留下有区分的開头。
- 改版或換模板後,舊的翻頁地址要能正常跳轉,別直接變成错誤頁面。
分頁是站内路径里最不起眼的一环,却决定了大量舊内容能不能被找到。花半小时走一遍上面的清單,通常就能發現几處一直没说清楚的地方。改完之後,记得隔一段時間再回来看一次,模板更新或參數調整都可能让問题重新出現。