蜘蛛進站之後並没有一張地图，它靠連結一步步走。站内連結里，全站導航和面包屑是绝大多數抓取路径的起点：它們决定了蜘蛛先看到哪些栏目、沿着哪條线走到詳情頁，也决定了它會不會在某些頁面上反复绕圈。

蜘蛛進站後，先找的是“主路”

首頁通常是蜘蛛最常来的入口。從首頁出發，它能走的路径大致分两類：一類是全站導航、面包屑這種固定出現的連結，另一類是正文里的相關阅讀、列表翻頁、标簽聚合等。前者稳定，每次都能看到，相当于主干道；後者位置不固定，属于支路。

主路清晰时，蜘蛛可以用較少的跳數到達大部分栏目和詳情頁。主路混乱时，它會花很多次抓取在几個頁面之間来回走，真正需要更新的内容反而排在後面。

全站導航要满足的三個條件

• 連結要能被抓取。如果導航是 JS 渲染出来的下拉菜單，蜘蛛拿到的首屏 HTML 里可能没有任何可走的路径，等于白设。
• 层級保持稳定。導航频繁調整，會让蜘蛛反复重新判断路径優先級，短期内抓取分布會出現波動。
• 覆盖所有重要目錄。只有一級栏目在導航里，二級三級只能靠列表頁一步步往下钻，抓取深度就會被拉長。

面包屑：告诉蜘蛛它在哪一层

面包屑看起来只是给用戶看的，但它對抓取同样有用。它给每個詳情頁提供了一條通向栏目頁和首頁的固定連結，蜘蛛從任意一個詳情頁進来，都能顺着面包屑回到主干道，再走向別的区域。

做面包屑时有两点值得留意：一是每一层都應该是真實存在的可訪問頁面，不要指向 404 或者一连串重定向；二是目前頁面這一层通常不加連結，避免出現指向自己的自連結。

抓取回路是怎么形成的

回路指的是蜘蛛沿着連結走一圈，最後回到起点附近，却没有進入新内容。常见的几種：

• 分頁的“上一頁/下一頁”和“首頁/末頁”互相連結，形成一條可以一直走下去的鏈。
• 标簽頁、专题頁彼此互鏈，每個頁面上都挂着几十個同類标簽連結。
• 篩選參數生成的頁面互相引用，地址不同但内容高度重复。
• 導航和面包屑指向同一批 URL，但没有形成层級，蜘蛛来回走的始终是同一批地址。

回路本身不一定有害，但如果它的數量遠超真實内容頁，抓取资源就會被大量消耗在重复路径上。

自查和調整的顺序

1. 先看抓取日誌里訪問最多的那几十個 URL，判断是内容頁還是列表、标簽、參數頁。
2. 用站点地图和站内搜尋把重要 URL 列出来，對比哪些從来没有出現在抓取记錄里。
3. 检查導航和面包屑在關閉 JS 的情况下是否還能讀出連結。
4. 確認栏目頁、列表頁的連結是否指向最终地址，避免连續重定向。
5. 對重复度高的标簽頁、參數頁，决定是收敛、加 nofollow 還是直接在 robots.txt 中屏蔽。

調整路径时一次只改一類，观察两到四周的抓取日誌再决定下一步。多個改動叠加在一起，很难判断是哪一處起了作用。

小结

抓取路径的设計，核心是让蜘蛛用較短的跳數、較少的重复訪問，覆盖到真正需要更新的頁面。全站導航提供主干，面包屑提供回程，内鏈提供支路，站点地图做兜底，服務器保持稳定响應則保證這條路径不會在半路断掉。把這几件事按顺序理清楚，通常比單纯增加連結數量更有效。