谈抓取路径时，很多人先看主導航和 Sitemap。這两者重要，但蜘蛛在站内移動时，還會经過面包屑、标簽頁、聚合列表、相關推荐等辅助入口。這些入口如果布置得当，能给深层 URL 多一條發現通道；如果只是站内装饰，對抓取帮助有限。
面包屑不只是用戶体驗
面包屑通常從首頁到栏目再到詳情，层級清晰。蜘蛛沿面包屑向上可以回到栏目頁，向下則可能發現同栏目的其他條目。核對时關注两点：
- 面包屑是否使用可抓取的 a 标簽，而不是 JavaScript 点击事件或纯文本。
- 每一級是否指向真實存在的栏目頁，避免中間层返回 404 或重定向到首頁。
如果詳情頁的面包屑只寫到二級栏目，而實际内容属于三級分類，蜘蛛可能只發現二級入口，三級分類的 URL 需要靠其他路径补充。
标簽頁與聚合頁的入口價值
标簽頁、专题聚合、排行列表常把分散的 URL 聚在一起。它們對抓取的作用是缩短發現路径：原本需要点击多次才能到達的頁面，可能從聚合頁一次点击就能進入。但要注意聚合頁本身是否被允许抓取。
- 聚合頁是否在 robots.txt 中被誤拦，或者被 noindex 标记。
- 聚合頁里的連結是否直接輸出可抓取的 href。
- 聚合頁數量是否過多，導致大量相似列表稀释抓取预算。
如果标簽頁只展示标题摘要而没有連結，或者連結通過脚本异步注入且未被渲染，蜘蛛可能只看到列表文字，看不到目标 URL。
辅助入口的核對顺序
可以按下面步骤排查，每次只改一個變量，观察日誌變化。
- 從首頁出發，手動模拟蜘蛛点击路径，记錄到達目标頁需要几层跳轉。
- 检查面包屑、标簽頁、相關推荐中的連結是否出現在 HTML 源碼里，而不是僅存在于渲染後的 DOM。
- 用抓取日誌篩選目标 URL，看首次被抓取时的 referer 或上一跳来自哪個入口。
- 對比 Sitemap 提交的 URL 與辅助入口發現的 URL，找出只出現在其中一套的頁面。
- 對重复出現的入口，检查是否指向同一 URL 的不同變体，避免因參數或尾斜杠造成重复抓取。
辅助入口的意义是增加發現概率，不是保證收錄。入口再多，頁面内容质量、服務器响應和站内结构仍然决定蜘蛛是否愿意繼續抓取。
常见誤区
一種誤区是把所有希望寄托在 Sitemap，認為提交了就等蜘蛛来。實际上，Sitemap 提供的是 URL 清單，蜘蛛仍會结合内鏈判断頁面重要性。另一種誤区是堆砌大量聚合頁，让每個頁面都有多個入口。入口過多且指向混乱时，蜘蛛可能反复抓取列表頁，反而减少對詳情頁的訪問。
較稳妥的做法是：保留清晰的面包屑，让标簽頁和聚合頁服務真實的内容聚合需求，並确保這些入口的連結可抓取、指向唯一、层級不過深。定期核對入口的實际抓取记錄，比單纯增加入口數量更有意义。