蜘蛛進站之後，靠什么找到下一頁

搜尋蜘蛛拿到一個入口 URL 之後，大部分後續頁面並不是靠猜，而是靠頁面里的連結一层层走下去。所以“URL 能不能被發現”，很大程度上等于“站内有没有一條走得通的路”。在众多入口里，主導航、面包屑和頁脚連結是最常被踩到的三條主线，它們各自承担的作用並不相同。

主導航：给爬行定一條主干

主導航是站点里稳定性最高的連結区，蜘蛛每次抓取首頁或栏目頁都會遇到它。设計时值得注意几点：

• 用真正的 a 标簽。下拉菜單如果靠 JS 添加点击事件、只有 div 或 span，蜘蛛拿不到 href，等于這條路不存在。做成規整的嵌套列表加連結，样式上再隐藏即可。
• 控制一級栏目數量。導航里塞几十個入口，會稀释每個連結被走到的机會，也不利于用戶判断站点在讲什么。常见做法是把 5 到 9 個核心栏目放在主導航，其余收進栏目索引頁。
• 保持導航一致。同一個栏目在不同頁面出現不同的連結文字或不同的 URL，會让蜘蛛重复爬取同一目标，也可能让入口分散到多個地址上。

面包屑：把层級方向讲明白

面包屑解决了蜘蛛“往下走之後回不去”的問题。列表頁、詳情頁通常在頁面上方放一條“首頁 > 栏目 > 子栏目 > 目前頁”的路径，每一級都是可点击連結。它的好處很直接：蜘蛛從深层頁面能顺着連結回到栏目頁和首頁，不必依赖頁脚那種全站連結。

几個细节：

• 最後一級是目前頁，一般不加連結，用文字即可。
• 层級要和實际目錄结构或内容归属對得上，別為了好看随意拼接。
• 如果同时輸出 BreadcrumbList 结构化資料，注意其中的 URL 和頁面上的連結保持一致；结构化資料是辅助理解，不替代可点击連結本身。

頁脚連結：全站入口，但別当仓库

頁脚連結的價值在于“每個頁面都能提供入口”。常放的是關于我們、联系方式、隐私政策、站点地图頁、核心栏目等。問题往往出在規模：有些站点把标簽、城市、關鍵詞全都堆進頁脚，動辄几百條連結。這样做的结果通常是每個連結分到的爬行机會更少，頁面体积變大，用戶也很难用。

更稳妥的做法是分情况處理：确實需要全站入口的固定頁面放在頁脚；數量大、需要按主题组织的内容，收進一個 HTML 站点地图頁或栏目索引頁，由那里再统一分發。

容易踩的几處断头路

• 图片導航：只有图片没有文字連結，蜘蛛能讀到的信息有限，也缺少锚文本线索。
• 折叠内容里的連結：纯 CSS 或 JS 折叠、内容不在 HTML 里的话，可能拿不到。
• 站内連結被统一加上 nofollow：大面积 nofollow 會切断站内爬行路径，一般只對确實不想传递的連結使用。
• 点击後才生成的連結：比如“加载更多”按钮拼出下一頁 URL，需要確認它至少有一個可直接訪問的地址。

用日誌核對實际爬行路径

结构设計得再好，也要用服務器日誌驗證。可以挑一個抓取频次較高的时段，看蜘蛛實际訪問了哪些 URL、從哪個来源頁進来、有没有大量集中在少數几個頁面。同时做一次站内爬行模拟，統計每個頁面距离首頁的点击深度——一般来说，重要内容放在三层以内更容易被稳定走到。發現某個栏目下大量頁面長期没有抓取记錄，通常可以回到導航、面包屑、列表分頁這些入口上找原因。

連結是蜘蛛在站内的路。與其反复提交 URL，不如先確認每條路都能走通、走得顺。

導航、面包屑、頁脚這三處不需要多复杂，關键是稳定、可点击、层級清楚。把這三條主线理顺，再配合站点地图和日誌核對，URL 被發現這件事就有了更可靠的基础。