蜘蛛第一次訪問一個站点时，並不會凭空知道所有 URL。它需要一個起点，也就是入口頁。入口頁决定了蜘蛛首轮能顺着哪些連結往下走，也間接影响新頁面被發現的顺序。把入口頁安排好，比單纯堆外鏈更直接。
蜘蛛常见的几個起点
- 首頁。多數站点最自然的入口，導航和栏目連結都集中在這里。
- 外鏈指向的具体頁面。外部連結给的 URL 會成為蜘蛛的入口，不一定是首頁。
- Sitemap 中的 URL。提交後蜘蛛會按清單逐個訪問，每個 URL 都可能成為局部起点。
- 主動提交的 URL。在搜尋资源平台提交後，蜘蛛從该 URL 開始抓取。
- 歷史抓取记錄。老站被蜘蛛记住的 URL 會定期回訪，再從這些頁扩散。
入口不同，首轮抓取范围差很多
如果蜘蛛從首頁進入，而你首頁的導航、栏目、列表頁都能正常爬，它很容易在首轮就触達大量詳情頁。反過来，如果外鏈指向的是一個正文頁，那個頁面没有回首頁的連結，也没有相關推荐，蜘蛛抓完這一頁可能就停住了，只能等下一次從別處再来。
這也是為什么同一個站，有的頁面很快被發現，有的几個月都没動静。差別往往不在頁面本身，而在蜘蛛是從哪個入口走到它的。
入口頁本身要满足的條件
- 返回 200：入口頁跳轉、报错都會让路径断掉。
- 連結可爬：用 JS 渲染出来的導航，蜘蛛未必能拿到，入口頁的連結最好在 HTML 里就有。
- 連結數量合理：入口頁連結太少，扩展范围有限；太多又可能让蜘蛛分散。
- 服務器稳定：入口頁响應慢或超时，蜘蛛可能降低對這個站的抓取频率。
新站和新目錄，主動给一個入口
- 從首頁或已有栏目頁加一個指向新目錄的連結，別让新頁面孤立存在。
- 更新 Sitemap，把新 URL 放進去，让蜘蛛有清單可循。
- 如果需要外鏈，尽量指向新目錄的入口頁，而不是零散的内頁。
- 在搜尋资源平台提交入口頁 URL，观察抓取记錄，確認蜘蛛确實走到了。
入口頁不是一次性設定
蜘蛛會回訪，但回訪的路线會跟着站内連結變化。栏目改版、導航調整、頁面下线，都可能让原本顺畅的入口路径断掉。定期用日誌或抓取工具看一下蜘蛛實际從哪些 URL 進入、又從哪些頁离開，比凭感觉猜测更可靠。
入口頁的任務不是自己排得好，而是让蜘蛛能顺着它走到下一层。
自查清單
- 首頁和主要栏目頁能否被正常抓取？
- 新目錄是否有至少一個内鏈入口？
- 入口頁的導航連結是否寫在 HTML 中？
- 最近有没有整段路径因為改版而断開？