把入口页做成列表，第一页放十几条链接，其余放在 page=2、page=3 这样的分页里，是很多蜘蛛池的常见做法。问题也随之而来：搜索蜘蛛会不会只抓第一页就走了？下面把这件事拆开讲。
搜索蜘蛛怎么处理分页链接
只要分页链接是普通的 <a href>，蜘蛛解析 HTML 时就能看到它，理论上可以顺着抓下去。但“能看到”和“会去抓”是两件事。搜索引擎每天分给一个站点的抓取次数有限，蜘蛛会按优先级排队：第一页的链接、页面顶部和正文区的链接、历史上更新频繁的地址，通常排在前面；越靠后的分页排得越晚，甚至当天根本排不上。
所以常见的情况是：第一页很快被抓，第二、第三页隔几天抓一次，再往后的分页可能长期停在“已发现未抓取”的状态。
哪些因素决定蜘蛛翻不翻后面的页
- 抓取配额：域名整体被抓取的历史表现好、响应稳定，配额相对宽裕；经常超时或返回 5xx，配额会收窄。
- 分页链接是否可解析：用 JS 点击切换、写成按钮或表单，蜘蛛一般跟不过去。
- 链接深度：从首页要点三四次才到第 5 页，被发现和被处理的优先级自然更低。
- 单页链接数量：一页塞几百条链接，蜘蛛在一页里能处理的数量有限，后面的容易被跳过。
- 页面响应速度：返回慢的分页，蜘蛛抓到一半可能超时断开，实际拿到的链接数会打折。
想让后面的分页被翻到，可以这样做
- 把最重要的目标 URL 放第一页，不要全部压在最后一页。
- 每页链接控制在几十条以内，避免用一页堆几百条的方式省事。
- 分页链接保持普通 a 标签，URL 稳定、可复制，不依赖鼠标点击事件。
- 不要给分页链接加 nofollow，也不要用 JS 跳转，那等于自己把路堵上。
- 用 sitemap 把分页地址一并提交，给蜘蛛一条独立的发现通道，不必只靠页面链接。
- 观察日志里蜘蛛对 page=2、page=3 的实际抓取频率，再决定要不要继续加深分页。
分页本身不是问题，把链接全堆在蜘蛛看不到或不愿意去的地方，才是问题。
怎么确认蜘蛛到底翻到第几页
在服务器日志里按蜘蛛 UA 过滤，看带 page 参数的路径有没有被抓、返回码是不是 200。如果第一页每天都来，第三页一个月只来一次，说明抓取配额已经吃紧，此时继续增加分页，只会让新链接更难被发现。另外，rel=next 和 rel=prev 这类标注，目前多数搜索引擎已不再当作索引信号使用，留着无妨，但不要指望靠它把蜘蛛带到后面几页。
几个容易踩的坑
- 分页链接指向的页面本身返回 404，或者又跳回第一页，蜘蛛跟过去等于白跑一趟。
- 用参数区分分页却没有做规范化处理，同一批链接反复以不同 URL 出现，白白消耗抓取量。
- 分页内容与第一页高度重复，抓了几页之后蜘蛛就不再往下走。
- 只把第一页提交给搜索引擎，后面的分页既不主动提交也没有内链指向。
总的来说，搜索蜘蛛会翻分页，但顺序由优先级决定，越靠后越慢。与其反复纠结“会不会翻到”，不如把重要链接前置、控制单页数量和层级、保证分页可正常抓取，再用日志验证真实抓取情况，然后决定分页要保留几层。