蜘蛛在站内爬行时，走的並不是一條規划好的直线，而是沿着連結一层层扩散。如果連結關系里存在閉环，蜘蛛就會在同一批頁面之間反复往返，看起来抓取次數不少，新頁面却迟迟等不到。這種结构問题通常不体現在报错里，只能從日誌和内鏈布局上發現。

什么是抓取路径上的回环

回环指的是：蜘蛛從入口頁 A 進入，沿着連結走到 B、C，又從 C 的某個模块回到 A。整條路径没有断，也没有 404，但兜了一圈又回到起点。與“死胡同”不同，死胡同是走不下去，回环是一直在走，却始终走不遠。

抓取预算是有限的，同一批頁面被反复訪問，意味着其他頁面被訪問的机會變少。對新上线的栏目或文章来说，這種影响尤其明顯。

常见的几種回环结构

列表頁與分頁互鏈

列表頁底部放了“上一頁/下一頁”，同时侧栏又放了“回到列表首頁”或“最新更新”的入口。蜘蛛從第 5 頁爬到第 6 頁，又很容易被带回第 1 頁，再重新往下走一遍。

标簽頁與专题頁

标簽頁聚合了若干文章，每篇文章底部又挂着相同的标簽連結，标簽之間還互相推荐。蜘蛛在标簽体系里打轉，實际内容頁反而成了路上的一個小节点。

篩選與排序參數

带參數的篩選頁彼此連結，例如按價格排序指向按時間排序，再指回預設列表。參數组合越多，回环的規模越大。

侧栏的推荐模块

“热门文章”“相關阅讀”“猜你喜欢”這類模块常出現在全站每個頁面上，只要其中几個連結互相指向，全站就构成了一張密集的網。

面包屑层級寫错

面包屑本應指向上一級分類，如果所有頁面都只指回首頁，蜘蛛從任意頁面都能一步回到起点，深度連結的價值被削弱。

回环會带来什么

• 抓取频次被摊薄，新 URL 排队時間變長；
• 日誌里出現大量重复的同一路径，判断抓取情况时容易被誤導；
• Sitemap 里提交的頁面長期没有訪問记錄；
• 頁面權重在环路内循环，落地頁很难积累。

在日誌里识別回环

1. 按訪問時間排序，保留每個請求的 referrer 字段；
2. 找出同一 IP 段、同一 UA 下反复出現的 A→B→A 组合；
3. 統計同一 URL 在一次會话中被抓取的次數，明顯高于其他頁面时重点看它的入鏈；
4. 對照 Sitemap 提交列表，看看被反复抓取的是不是同一小批頁面。

處理思路

• 導航保持單向：分類頁可以指向子分類和内容頁，尽量减少子頁反向指回顶級入口的連結；
• 分頁只保留线性關系：上一頁/下一頁足够，不必再放額外的循环入口；
• 推荐模块限量：同一模块内的連結數量控制住，避免跨栏目互相指向；
• 參數頁收敛：對没有獨立價值的篩選组合做屏蔽或加 nofollow；
• 用 Sitemap 补齐：内鏈走不到的頁面，至少在 Sitemap 里有一條明确的入口；
• 定期复查：改版、換模板、上新栏目後，連結關系都會變，回环常在這几個节点重新出現。

抓取路径的價值不在于蜘蛛走了多少步，而在于它能走到多遠、走到多深。

小结

回环不是错誤，而是结构上的低效。它不會让蜘蛛报错，只會让有限的抓取机會消耗在重复的路段上。定期看日誌、梳理導航和推荐模块的連結方向，比事後追問“為什么没抓”更有用。