蜘蛛在站点里移動，靠的是一层层的連結。從一個入口頁出發，跟着連結進入栏目頁、列表頁、詳情頁，再顺着頁面上的其他連結繼續往下走。只要鏈路上某一环断了，蜘蛛就只能退回抓取队列，去處理別的地址。
什么是抓取路径上的死胡同
如果一個頁面被抓取之後，頁面上没有指向其他站内頁面的可用連結，蜘蛛就没有下一步可走。它不會停在那里干等，而是回到队列里拿下一個地址。偶尔几個這样的頁面不构成問题，但如果這類頁面批量存在，抓取就會變成大量“抓一次就回退”的動作：深度走不下去，新頁面被發現的時間被拉長。
几種常见的死胡同形態
- 列表頁翻到最後一頁，既没有下一頁，也没有返回栏目或热门入口。
- 詳情頁只有正文，没有面包屑、没有相關推荐、没有上下篇或分類連結。
- 分頁參數加到上限之後，頁面只剩空壳，出鏈全部消失。
- 連結靠 JS 渲染出来，蜘蛛拿到的 HTML 里根本没有可跟的 href。
- 错誤頁、空结果頁照样返回 200，頁面上却没有任何可走的連結。
這些情况的共同点是：頁面本身可能被抓到了，但没有把抓取能力传递出去。
出口不用多，要能接着走
给頁面补出口，重点不在數量，而在“下一步是否有意义”。面包屑能回到上一层，分類連結能横向進入同類内容，相關推荐能带蜘蛛走到新的詳情頁，分頁的上一頁與下一頁能把列表打通。几個稳定的出口，通常比頁脚堆几十個全站連結更有效。
内鏈的作用不只是给人点，也是给蜘蛛一條能原路返回、並且繼續向前的路。
需要留意的是，出口要出現在 HTML 里。用按钮、图片或纯 JS 事件做的“連結”，蜘蛛跟不過去，等于没有。
死胡同多了，會连累抓取节奏
回退動作本身也是請求。抓取路径大面积断掉时，蜘蛛更容易在一個小范围里反复進出，服務器承压上升。反過来，如果服務器响應已经變慢，蜘蛛會主動放慢抓取，覆盖推進更慢，死胡同带来的影响就被放大。所以抓取路径的整理，通常要和服務器稳定性一起看。
怎么排查和改
- 翻蜘蛛日誌，找那些被抓過一次就再没有後續請求的 URL，看看它們所在的模板是否缺出鏈。
- 抽查列表頁的最後一頁、空结果頁、詳情頁模板，確認有没有可跟的站内連結。
- 检查連結是否為真實的 a 标簽 href，移動端和 PC 端模板都要看。
- 给分頁到底的頁面留一個返回栏目或返回首頁的入口，別让路径断在最後一頁。
- Sitemap 可以作為兜底通道，但不能替代内鏈，两條路同时存在更稳。
有些死胡同不用管
404 頁、提交成功頁、登出頁這類頁面本来就不需要承接抓取，没有出鏈是正常的。真正要處理的是那些本来應该繼續往下走的頁面：列表、詳情、聚合、标簽頁。判断标准也简單——用戶看完這一頁，還有没有下一站可去。
抓取路径是一條條具体的线。把线头收好，蜘蛛能走的路自然就多了。