蜘蛛在站内走路的依據是連結，不是你的想象。如果某個頁面没有任何入口連結，它就只能靠 Sitemap 或外鏈碰运气；如果某個頁面只有入口没有出口，蜘蛛進去之後只能回头。這两類問题在日誌里的表現很相似：抓取次數少、間隔長，或者干脆一次都没有。

先分清两類問题

孤儿頁面

指站内没有任何連結指向的 URL。它可能是一個老活動頁、一個被 CMS 断掉關联的商品、或者手工上传的落地頁。Sitemap 里可能還留着它，但站内没有任何頁面能点到它。

死胡同頁面

指頁面本身能被抓到，但正文里没有指向其他有效頁面的連結，或者連結全部指向 404、登入頁、外站。蜘蛛抓到這一頁後，路径就断了。

怎么把它們找出来

不要靠猜，用資料對照更可靠：

• 日誌與 Sitemap 對照：把 Sitemap 里的 URL 和最近 30 天日誌中出現過的 URL 做差集。那些只被 Sitemap 列出、日誌里從没出現過的地址，大概率是孤儿頁。
• 工具抓取：用常见的站点抓取工具以首頁為起点跑一遍，對比輸出列表與實际頁面總數，差出来的部分往往是缺少内鏈到達的頁面。
• 後台内容列表：CMS 里的内容清單通常能直接看出哪些條目没有被任何栏目或专题引用。

把孤儿頁面接回路径

接回来的方式按稳定性排序：

1. 加入相關栏目或聚合頁的入口連結，這是最稳的，能被蜘蛛反复经過。
2. 詳情頁之間做相關推荐、上一篇下一篇，形成横向連結網絡。
3. 站点地图作為兜底。它只解决“知道有這個 URL”，不解决後續抓取频率。

把頁面放進 Sitemap 不等于被有效抓取。没有内鏈支撑的 URL，抓取優先級通常很低。

给死胡同頁面留出口

一個頁面至少應该给蜘蛛留一條繼續走的路：

• 面包屑或返回栏目頁的連結。
• 同分類下的其他内容連結。
• 标簽、专题、上下篇導航。

要避免的是整頁連結全都指向登入、购物车、外站或 404。這類連結對蜘蛛来说等同于没有出口。

修完之後看日誌驗證

改完内鏈不要立刻下结论，等一到两周，再看日誌里這些 URL 的抓取次數和狀態碼分布。正常情况下，接回路径的頁面會開始出現規律抓取；如果仍然没有動静，就检查是不是被 robots.txt 拦了、是不是全站連結都靠 JS 渲染、或者服務器對蜘蛛响應過慢。

最後提醒一点：URL 數量不是越多越好。把没有價值的死胡同頁面和重复頁面清理掉，收口到有效目錄，往往比硬塞内鏈更划算。