搜尋蜘蛛在站点里走動，靠的是一張由連結织成的網。它從一個 URL 出發，顺着頁面里的 a 标簽走向下一個，再下一個。只要鏈條不断，新 URL 就總有被發現的机會。真正麻烦的情况，是蜘蛛爬到了一個頁面，却發現這里没有任何可以繼續前進的連結——抓取路径在這里停住，後面那些本该被訪問的頁面，也就失去了被發現的机會。
什么样的頁面算“死胡同”
判断标准很简單：這個頁面被訪問過之後，蜘蛛還能不能從它這里走到別的 URL。如果答案是不能，它就是一條断头路。注意，這跟頁面内容好坏無關，一個内容很扎實的頁面，只要出鏈為零，對蜘蛛来说就是终点站。
常见的几種形態
- 纯落地頁：活動专题頁、單頁宣传頁，整頁只有图片和一段文案，連結全部指向站外或者干脆没有。
- 只剩“返回上一頁”的詳情頁：返回按钮是脚本里的 history.back()，對蜘蛛不构成連結。
- JS 渲染後才出現的列表：HTML 源碼里干干净净，相關推荐由脚本插入，抓取时拿到的是空壳。
- 登入墙後的頁面：未登入狀態下頁面只剩一個表單，後續内容一無所获。
- 參數组合頁：篩選、排序生成的 URL 大量重复，彼此之間又没有交叉連結。
為什么“進得去、走不動”比“抓不到”更麻烦
抓不到的頁面，蜘蛛至少不會浪費一次請求。而死胡同頁面會被正常抓取、正常計入抓取预算，却不产生任何新的 URL 线索。站点規模大起来以後，這類頁面积少成多，會明顯拖慢新内容的發現速度。
更隐蔽的是它對抓取路径的影响。蜘蛛记錄的是“從哪来、能到哪去”，当一條路径反复走到死胡同，站点内部的可達深度分布就會變得不均匀：少數入口頁被反复訪問，深层内容長期無人問津。
怎么找出這些頁面
- 先從蜘蛛訪問日誌里筛出被訪問過的 URL，去掉图片、CSS、JS 等静態资源。
- 用爬虫工具抓一遍站点，導出每個 URL 的出鏈數量，出鏈為零的優先看。
- 把日誌里的 URL 和 Sitemap 里的 URL 對比，長期只被蜘蛛訪問、没有内鏈指向的頁面，通常就是孤岛。
- 看深度分布：如果大部分頁面深度超過五层，說明中間层可能出現了断点。
给死胡同開個出口
修补的思路不是硬塞連結，而是让頁面重新回到站点的结构里：
- 补上面包屑導航，把目前位置和上級栏目连起来。
- 在正文底部加同栏目或相關内容的連結，控制在几條以内，別做成連結堆。
- 列表頁和詳情頁互相打通，詳情頁能回到列表，列表能進入詳情。
- 标簽頁、聚合頁作為补充入口，但要避免生成大量内容雷同的頁面。
- Sitemap 可以作為兜底發現渠道，但它替代不了内鏈——它只告诉蜘蛛 URL 存在，不告诉蜘蛛這個 URL 在站点里處于什么位置。
連結的價值在于相關性和方向，不在于數量。為了消除死胡同而堆砌無關連結，通常只會让頁面结构更混乱。
顺带留意服務器這一环
路径修好之後，還要保證蜘蛛能顺利走完。响應時間過長、間歇性连接失敗，都會让原本通畅的路径在中間断開，蜘蛛走到一半就放弃。稳定、响應快的服務器，是這些連結结构能真正生效的前提。
死胡同不是一天形成的，多數情况下是頁面持續改版、栏目反复調整後留下的结果。定期用日誌和爬虫结果對照一次，把那些没有出口的頁面找出来补上几條合理的連結，往往比新增一批内容更快看到抓取上的變化。