蜘蛛在站内的行走，本质上是一次沿連結展開的遍歷：從一個入口頁出發，把遇到的 URL 放進待抓队列，再逐個走下去。路径设計得顺，它能一路走到底；站内到處是回环和断头路，它就會把時間花在绕圈和掉头上，新 URL 的發現自然變慢。
回环：路径在原地打轉
回环指的是連結不断指向已经走過的地方，蜘蛛反复回到同一批頁面。
- 列表頁互相推荐：A 列表推荐 B 列表，B 又推荐 A，两邊都没有指向内容頁的有效出口。
- 标簽頁與聚合頁交叉互鏈：几十個标簽互相连接，形成一張封閉的網。
- “相關推荐”把整站串成一張大網，每個頁面都能到任意頁面，看上去连通，實际没有层級。
回环本身不等于問题，但它會占用抓取机會。判断标准很直接：如果去掉回环里的這些連結，蜘蛛還能不能找到那些内容頁？如果答案是不能，說明主干路径太弱，回环成了它唯一的通路。
断头路：走到這里就没路了
断头路是另一種极端：頁面被走到，却没有任何值得繼續走的出口。
- 文章頁尾部只有一句返回首頁，没有任何同類内容或栏目入口。
- 分頁的最後一頁，既不指向栏目，也不指向上一篇。
- 篩選參數頁互相组合，生成大量彼此不连、也無出鏈的地址。
- 栏目下暂时没有内容，頁面只剩一個空列表。
處理断头路不是往頁面底部堆一堆連結，而是给出两三個明确方向：回到所属栏目、上一篇或下一篇、几條同類内容。方向少而准，蜘蛛更容易判断接下来去哪個层級。
用几個動作把死角找出来
- 從首頁手動点三到四层，看能不能走到你最希望被抓的那些頁面。
- 把訪問日誌按 URL 聚合，找出被抓得異常频繁的頁面，它們往往處在回环的中心。
- 挑出只被抓過一次、之後再没出現的 URL，回头看它周围有没有出口。
- 核對 Sitemap：里面有多少 URL 能在三步内從首頁走到，走不到的，多半是结构上缺少支撑。
Sitemap 與内鏈的分工
Sitemap 解决的是“知道你有哪些 URL”，内鏈解决的是“知道這些 URL 值得走”。只提交 Sitemap，蜘蛛拿到的是地址清單，缺少路径支撑，走到内容頁後往往無處可去，只能退回入口重新走。两者配合的方式是：Sitemap 做覆盖兜底，内鏈把重要頁面放在主干路径上，让它們能被自然带出来。
路径中断有时是响應問题
断头路不一定出在連結上。超时、5xx、连接被重置，都會让蜘蛛在某一跳停下，它這一轮就走不到後面的頁面。抓取日誌里如果某段路径的响應时好时坏，先修响應，再谈结构調整。
结构上的死角，往往比内容质量更快地拖慢新 URL 的發現速度。
可以定期做一次简單走查：挑十個希望被發現的頁面，记錄從入口走到它們要几跳、经過哪些中間頁。跳數過多，或者必须依赖參數頁中轉的，就是把路径重新铺一铺的地方。改完不必期待马上變化，蜘蛛重新走一遍需要時間，也不會因為结构變好就必然收錄。