把入口頁做成列表，第一頁放十几條連結，其余放在 page=2、page=3 這样的分頁里，是很多蜘蛛池的常见做法。問题也随之而来：搜尋蜘蛛會不會只抓第一頁就走了？下面把這件事拆開讲。
搜尋蜘蛛怎么處理分頁連結
只要分頁連結是普通的 <a href>，蜘蛛解析 HTML 时就能看到它，理论上可以顺着抓下去。但“能看到”和“會去抓”是两件事。搜尋引擎每天分给一個站点的抓取次數有限，蜘蛛會按優先級排队：第一頁的連結、頁面顶部和正文区的連結、歷史上更新频繁的地址，通常排在前面；越靠後的分頁排得越晚，甚至当天根本排不上。
所以常见的情况是：第一頁很快被抓，第二、第三頁隔几天抓一次，再往後的分頁可能長期停在“已發現未抓取”的狀態。
哪些因素决定蜘蛛翻不翻後面的頁
- 抓取配額：域名整体被抓取的歷史表現好、响應稳定，配額相對宽裕；经常超时或返回 5xx，配額會收窄。
- 分頁連結是否可解析：用 JS 点击切換、寫成按钮或表單，蜘蛛一般跟不過去。
- 連結深度：從首頁要点三四次才到第 5 頁，被發現和被處理的優先級自然更低。
- 單頁連結數量：一頁塞几百條連結，蜘蛛在一頁里能處理的數量有限，後面的容易被跳過。
- 頁面响應速度：返回慢的分頁，蜘蛛抓到一半可能超时断開，實际拿到的連結數會打折。
想让後面的分頁被翻到，可以這样做
- 把最重要的目标 URL 放第一頁，不要全部压在最後一頁。
- 每頁連結控制在几十條以内，避免用一頁堆几百條的方式省事。
- 分頁連結保持普通 a 标簽，URL 稳定、可複製，不依赖鼠标点击事件。
- 不要给分頁連結加 nofollow，也不要用 JS 跳轉，那等于自己把路堵上。
- 用 sitemap 把分頁地址一並提交，给蜘蛛一條獨立的發現通道，不必只靠頁面連結。
- 观察日誌里蜘蛛對 page=2、page=3 的實际抓取频率，再决定要不要繼續加深分頁。
分頁本身不是問题，把連結全堆在蜘蛛看不到或不愿意去的地方，才是問题。
怎么確認蜘蛛到底翻到第几頁
在服務器日誌里按蜘蛛 UA 過滤，看带 page 參數的路径有没有被抓、返回碼是不是 200。如果第一頁每天都来，第三頁一個月只来一次，說明抓取配額已经吃紧，此时繼續增加分頁，只會让新連結更难被發現。另外，rel=next 和 rel=prev 這類标注，目前多數搜尋引擎已不再当作索引信号使用，留着無妨，但不要指望靠它把蜘蛛带到後面几頁。
几個容易踩的坑
- 分頁連結指向的頁面本身返回 404，或者又跳回第一頁，蜘蛛跟過去等于白跑一趟。
- 用參數区分分頁却没有做規范化處理，同一批連結反复以不同 URL 出現，白白消耗抓取量。
- 分頁内容與第一頁高度重复，抓了几頁之後蜘蛛就不再往下走。
- 只把第一頁提交给搜尋引擎，後面的分頁既不主動提交也没有内鏈指向。
總的来说，搜尋蜘蛛會翻分頁，但顺序由優先級决定，越靠後越慢。與其反复纠结“會不會翻到”，不如把重要連結前置、控制單頁數量和层級、保證分頁可正常抓取，再用日誌驗證真實抓取情况，然後决定分頁要保留几层。