很多站点的入口頁不是一頁連結列表，而是分頁形式的列表：第 1 頁放 20 條，後面還有第 2 頁、第 3 頁……一直到第 50 頁。于是常见疑問就来了——搜尋蜘蛛會不會顺着“下一頁”一路翻下去，把後面所有分頁里的目标 URL 都發現？答案不是简單的“會”或“不會”，而是取决于几件事。

搜尋蜘蛛對分頁的基本處理逻辑

搜尋蜘蛛發現連結後，會把新 URL 放進待抓取队列，但它不會無限制地扩張。抓取配額、頁面深度、連結在頁面中的位置，都會影响它翻到第几頁。常见情况是：前几頁被稳定抓取，越往後越稀疏，最後几頁長期没有抓取记錄。這不一定是被惩罚，更可能是抓取预算分配的结果。

决定翻頁深度的几個因素

• 入口頁本身的抓取频次：整站被爬得越勤，分頁通常被翻得越深。
• 每頁連結數量：每頁 20 條和每頁 200 條，同样的抓取预算能覆盖的頁數完全不同。
• 連結层級：目标 URL 在第 3 頁還是第 30 頁，被發現的机會差別很大。
• 分頁連結是否可爬：如果“下一頁”是 JS 事件绑定而不是 a 标簽，蜘蛛可能根本点不動。
• 内容是否高度重复：分頁列表若彼此雷同，蜘蛛更倾向于停在前面几頁。

分頁連結寫法上的细节

用真實的 a 标簽

“下一頁”最好寫成可点击的 a 标簽，href 直接指向第 N+1 頁。如果用 button 加 JS 异步加载，蜘蛛往往只能看到第 1 頁的内容。

頁碼連結尽量平铺

除了“下一頁”，把 1、2、3 等若干頁碼直接列出来，比只给一個“下一頁”更有帮助，蜘蛛可以跳着抓，不必逐頁推進。

分頁頁與 robots.txt 要分開看

给分頁頁设 noindex 只影响该頁自身是否被收錄，理论上仍可顺着連結繼續爬；但如果你同时用 robots.txt 屏蔽了分頁路径，連結传递就彻底断了。

分頁之外，最好留第二條路

分頁列表是一種發現路径，但不要当成唯一路径。更稳妥的做法是：

1. 把重要目标 URL 單獨整理進 sitemap，分頁列表只作為补充。
2. 對價值高的 URL，在首頁或栏目頁给出固定入口，不依赖翻頁。
3. 分頁列表保持更新，避免長期停在同一個快照上。
4. 定期從日誌里核對分頁的實际抓取深度，而不是凭感觉判断。

怎么確認蜘蛛翻到了第几頁

在服務器日誌里按分頁路径過滤，例如带 page= 或 /list/ 的請求，看不同頁碼的抓取次數分布。如果第 1 到第 5 頁有记錄，第 6 頁之後几乎為零，說明目前深度大概就到這了。此时可以考虑把靠後的目标 URL 挪到更浅的位置，或者用 sitemap 补上。

分頁不是翻得越多越好。把精力放在让重要 URL 出現在浅层入口，比反复調整分頁结构更有效。

几個常见誤解

• 以為提交了分頁就會全爬：提交只是告知存在，不保證抓取深度。
• 以為 rel=next/prev 能解决一切：這類标记早已不被主要搜尋引擎当作索引信号使用，連結本身可爬才是關键。
• 以為分頁重复無所谓：大量相似列表會稀释抓取预算，間接影响後面 URL 被發現的速度。

總的来说，搜尋蜘蛛會不會翻到最後一頁，取决于抓取预算、分頁連結的可爬性和頁面本身的價值。分頁可以当作入口頁使用，但重要的目标 URL 最好同时有浅层入口和 sitemap 兜底，不要只押在“下一頁”上。