蜘蛛在站内爬行时，走的并不是一条规划好的直线，而是沿着链接一层层扩散。如果链接关系里存在闭环，蜘蛛就会在同一批页面之间反复往返，看起来抓取次数不少，新页面却迟迟等不到。这种结构问题通常不体现在报错里，只能从日志和内链布局上发现。

什么是抓取路径上的回环

回环指的是：蜘蛛从入口页 A 进入，沿着链接走到 B、C，又从 C 的某个模块回到 A。整条路径没有断，也没有 404，但兜了一圈又回到起点。与“死胡同”不同，死胡同是走不下去，回环是一直在走，却始终走不远。

抓取预算是有限的，同一批页面被反复访问，意味着其他页面被访问的机会变少。对新上线的栏目或文章来说，这种影响尤其明显。

常见的几种回环结构

列表页与分页互链

列表页底部放了“上一页/下一页”，同时侧栏又放了“回到列表首页”或“最新更新”的入口。蜘蛛从第 5 页爬到第 6 页，又很容易被带回第 1 页，再重新往下走一遍。

标签页与专题页

标签页聚合了若干文章，每篇文章底部又挂着相同的标签链接，标签之间还互相推荐。蜘蛛在标签体系里打转，实际内容页反而成了路上的一个小节点。

筛选与排序参数

带参数的筛选页彼此链接，例如按价格排序指向按时间排序，再指回默认列表。参数组合越多，回环的规模越大。

侧栏的推荐模块

“热门文章”“相关阅读”“猜你喜欢”这类模块常出现在全站每个页面上，只要其中几个链接互相指向，全站就构成了一张密集的网。

面包屑层级写错

面包屑本应指向上一级分类，如果所有页面都只指回首页，蜘蛛从任意页面都能一步回到起点，深度链接的价值被削弱。

回环会带来什么

• 抓取频次被摊薄，新 URL 排队时间变长；
• 日志里出现大量重复的同一路径，判断抓取情况时容易被误导；
• Sitemap 里提交的页面长期没有访问记录；
• 页面权重在环路内循环，落地页很难积累。

在日志里识别回环

1. 按访问时间排序，保留每个请求的 referrer 字段；
2. 找出同一 IP 段、同一 UA 下反复出现的 A→B→A 组合；
3. 统计同一 URL 在一次会话中被抓取的次数，明显高于其他页面时重点看它的入链；
4. 对照 Sitemap 提交列表，看看被反复抓取的是不是同一小批页面。

处理思路

• 导航保持单向：分类页可以指向子分类和内容页，尽量减少子页反向指回顶级入口的链接；
• 分页只保留线性关系：上一页/下一页足够，不必再放额外的循环入口；
• 推荐模块限量：同一模块内的链接数量控制住，避免跨栏目互相指向；
• 参数页收敛：对没有独立价值的筛选组合做屏蔽或加 nofollow；
• 用 Sitemap 补齐：内链走不到的页面，至少在 Sitemap 里有一条明确的入口；
• 定期复查：改版、换模板、上新栏目后，链接关系都会变，回环常在这几个节点重新出现。

抓取路径的价值不在于蜘蛛走了多少步，而在于它能走到多远、走到多深。

小结

回环不是错误，而是结构上的低效。它不会让蜘蛛报错，只会让有限的抓取机会消耗在重复的路段上。定期看日志、梳理导航和推荐模块的链接方向，比事后追问“为什么没抓”更有用。