首頁是種子，不是全部

蜘蛛進入一個新站，入口通常只有两個：首頁，或者站点地图。它並不清楚你有多少栏目、多少詳情頁，只能從眼前的連結往下走。所以首頁真正的作用不是展示，而是提供一個起点——從這里出發，它能不能走到每一個值得被抓的頁面。

很多站点的問题不在首頁本身，而在第一跳之後。首頁連結被完整抓取，再往里一层就断了。這不是内容质量問题，是路径問题。

第一跳之後，蜘蛛在建立什么

顺着連結往下走的過程里，蜘蛛實际上在還原一張结构图：哪些是栏目頁，哪些是列表頁，哪些是詳情頁，同類頁面之間怎么互相關联。這張结构图决定了後續抓取的顺序和频率。

如果這張图清晰，蜘蛛知道某個目錄下大概還有多少頁、值不值得繼續投入；如果图是乱的，它只能靠猜，猜的结果通常是反复抓首頁和几個热门入口，剩下的頁面長期没有訪問记錄。

常见的三種骨架断裂

導航依赖渲染後才出現

主導航用脚本動態生成，源碼里没有對應的 a 标簽。蜘蛛拿到初始 HTML 时看不到路径，是否能等到渲染完成，取决于渲染资源和队列安排，並不總是可靠。

层級過深，中間缺少列表入口

詳情頁只能靠相關推荐或搜尋頁到達，而相關推荐的内容每次訪問都不一样。換句话说，從栏目頁到詳情頁之間没有一條稳定、可重复的連結，蜘蛛每次走到這里都像第一次来。

關键入口藏在交互後面

篩選、折叠、点击展開之後才出現的連結，對用戶是便利，對蜘蛛是障碍。除非有另一條静態路径能到達同样的頁面，否則這些 URL 的發現概率會明顯下降。

让骨架清晰起来

• 主導航和頁脚導航使用可直接解析的連結，不要只靠事件绑定。
• 每個栏目提供一條稳定的列表入口，列表頁本身可被直接訪問。
• 分頁给出真實可点的連結，避免用脚本追加内容却不改變地址。
• 面包屑保持层級一致，让蜘蛛理解頁面之間的從属關系。
• 必要时维護一份 HTML 版本的站点地图，作為兜底通路。

這些做法的共同点是：让連結在源碼里就能被讀到，而且每次訪問结果一致。稳定性比數量更重要。

用日誌驗證骨架是否成立

判断路径通不通，最直接的办法是看訪問日誌。按目錄統計蜘蛛的命中次數，如果首頁和几個栏目反复出現，而某個子目錄長期為零，基本可以判断通往那里的路径有問题。

也可以反過来观察：某個頁面被發現之後，它周围的同類頁面有没有陆續被訪問。如果只有孤零零一個頁面被抓，說明它所在的那一层没有形成可延展的連結網絡。

蜘蛛不會因為你寫了連結就一定抓，但走不到的連結，它一定抓不到。

小结

第一跳的质量决定了整站後續的抓取节奏。與其反复調整抓取频率，不如先把從首頁到重要頁面的那條路走一遍：能不能在源碼里讀到連結，連結指向是否稳定，中間有没有断点。路径通畅之後，URL 發現和抓取深度的問题往往會自然减少。