不少站点把注意力都放在首頁，預設蜘蛛從首頁進来，顺着導航一路往下抓。實际情况要复杂一些：蜘蛛會记住一個站点的多個入口，哪個入口打開顺利、返回内容稳定，它就更愿意從那里繼續走。入口设計得好不好，URL 被發現的速度會明顯不一样。
首頁是預設入口，但不是唯一入口
首頁的價值在于它通常是全站内鏈最密集的地方，抓取频次也最高。但如果首頁長期不稳定、返回 5xx，或者被 robots.txt 誤屏蔽，蜘蛛並不會因此停止訪問站点，而是轉向它已经记錄下来的其他 URL，這些 URL 就成了事實上的入口。
常见的几個抓取入口
- 首頁與主導航：最稳定的入口，導航结构改動时要留意深层頁面是否被顺带切断。
- XML Sitemap：告诉蜘蛛有哪些 URL，但它只是线索，不是抓取指令。
- 内鏈：列表頁、面包屑、相關推荐都是蜘蛛在站内扩散的路径。
- 外鏈：友鏈、被轉载的文章、论坛與社交平台上的連結，蜘蛛會带着来源頁的语境打開。
- 歷史 URL：蜘蛛對曾经抓過的地址有记忆，舊連結即使頁面改版也仍可能被訪問。
- Feed 與推送接口：RSS/Atom、主動推送通道，能让新 URL 更快進入抓取队列。
入口的數量不等于入口的质量
與其到處铺入口，不如先確認每個入口頁本身是否正常：返回碼是否為 200，是否被 noindex 或 robots.txt 挡住，是否只是一個 302 跳轉的中間頁。入口頁自己都抓不顺，後面那一层頁面自然也很难被發現。
怎么判断蜘蛛實际走的是哪條路
服務器日誌是主要依據。按時間排序，观察蜘蛛在同一段會话里连續請求的 URL 顺序，通常能看出它是從列表頁進入詳情頁，還是直接跳到了某個深层地址。部分蜘蛛會带 Referer，可以直接看到来源頁；不带的，就用訪問顺序和路径規律去推断。另一個信号是频次：某個頁面自身被频繁抓取，而它周围都是内容頁，它很可能就是這個站点的實际入口。
日常维護的检查項
- 把 Sitemap 里的 URL 和站内實际可点击到的 URL 對一遍，差异過大的部分單獨排查。
- 检查入口頁的返回碼與响應時間，响應過慢的入口頁容易被降低抓取频率。
- 確認 robots.txt 没有誤伤導航、列表頁等结构性頁面。
- 新内容發布後，至少给出一條稳定、可長期訪問的入口連結。
- 定期回訪外部入口，失效的外鏈不必刻意保留。
對蜘蛛来说，稳定的入口比數量更多的入口更有價值。它记住的往往不是你想让它走的那條路，而是它走得最顺的那條路。
把入口当成站点结构的一部分来维護，定期看日誌、看返回碼、看内鏈有没有断，URL 的發現效率會稳定下来。抓取這件事没有一劳永逸的設定，更多是持續的检查和微調。