做站点运营的人常把注意力放在“蜘蛛抓了多少頁”，但更前置的問题是：蜘蛛是從哪個 URL 開始走這條路径的。第一跳决定了它接下来能看到什么。如果第一跳永遠只落在首頁，那么深层頁面的發現速度就完全依赖首頁到它的鏈路是否顺畅。
為什么第一跳值得單獨拿出来看
蜘蛛不認识你的網站结构，它只知道手里有一批 URL。這批 URL 的来源主要有几種：上一次抓取留下的记錄、Sitemap 提交的清單、外鏈指向的地址，以及站内連結暴露出来的路径。第一跳落在哪里，往往决定了同一批新頁面是被“顺便發現”還是“专门去找”。
同一個新頁面，如果入口是一條從栏目頁延伸出去的普通内鏈，和入口是一條外部頁面直接指向它的連結，蜘蛛到達它的時間和抓取意愿通常不一样。這不是玄学，而是鏈路長度和入口位置共同作用的结果。
常见的几類入口
首頁與栏目頁
這是最基础的入口，也是最容易被忽略质量的一环。首頁連結太多、導航全靠 JS 渲染、栏目頁第一屏全是图片，都會让第一跳之後的第二跳、第三跳變窄。建议保持首頁到主要栏目的連結是静態可点击的 a 标簽，並且數量可控。
Sitemap
Sitemap 相当于把 URL 清單直接递给蜘蛛，跳過發現环节。它的價值在于“确定性”：新頁面、深层頁面、更新频繁的頁面都可以放進去。但要注意清單里只放能正常訪問、返回 200 的地址，混入大量 404 或重定向地址會稀释清單的可用性。
外鏈
一條指向深层頁面的外鏈，本身就是一個獨立入口。相比從首頁一路爬下去，蜘蛛可以直接落到這個 URL 上，再通過頁面里的内鏈繼續扩散。所以外鏈不只是權重問题，也是路径問题。
歷史 URL
蜘蛛會记住已经抓過的地址，並定期回訪。這意味着站点改版、目錄調整之後，蜘蛛手里可能還握着一批舊入口。這些舊地址如果全部 404，第一跳就會落空。用 301 把它們指向新地址，比直接删掉更稳妥。
入口的數量不重要，可達性才重要
有人喜欢在首頁堆几百條連結，希望“入口多就能多抓”。實际效果往往相反：連結越多，單條連結分到的注意力越少，蜘蛛更容易在首頁浅尝辄止。更實用的做法是分层：
- 首頁只放少量、稳定、指向主要栏目的入口；
- 栏目頁负责把連結铺到列表頁和聚合頁；
- 詳情頁之間用相關推荐、上下篇形成横向通路；
- 關键的新頁面，用一條明确的内鏈或外鏈單獨点名。
怎么驗證入口有没有被走通
光看设計不够，要看日誌。把服務器日誌按蜘蛛 User-Agent 過滤出来，然後看两件事：
- 入口頁（首頁、栏目頁、Sitemap 里的地址）是否被持續訪問；
- 從入口頁出發，連結到的下一层 URL 是否出現在同一時間段的日誌里。
如果入口頁天天被抓，但某個栏目下的詳情頁長期没有记錄，問题多半出在中間的某一跳：連結被 JS 隐藏、被 nofollow 挡住、或者那一层返回了非 200 狀態。顺着鏈路往回查，比盲目發外鏈有效得多。
入口不是越多越好，而是每一條都要走得通。一條被中断的鏈路，比没有連結更浪費抓取机會。
几個容易踩的坑
- 只留首頁入口：新頁面要爬到第三、第四层才被發現，更新节奏跟不上。
- Sitemap 当成垃圾桶：把歷史、失效、參數頁全塞進去，清單质量下降。
- 入口頁本身不稳定：入口頁 5xx 或加载极慢，後面所有跳數都被卡住。
- 把跳轉当入口：一條跳轉鏈如果太長，蜘蛛可能在中間就停了。
回到最初的問题：蜘蛛的第一跳從哪里来，其實取决于你自己怎么安排。把入口设計清楚、保持在可訪問狀態、用日誌定期核對，URL 被發現的過程就會更稳定，剩下的交给時間和持續的维護。