蜘蛛進站之後的第一批 URL，通常不是随机挑的。它從已知入口出發，沿着連結往下走。入口頁選得合适，抓取路径就宽；入口頁選偏了，後面再补 Sitemap、再堆内鏈，效果也會打折扣。這里的“入口頁”不是嚴格的技術術语，可以理解為：蜘蛛在没有站内上下文时，最可能先落地的那些頁面。
蜘蛛眼里有哪些入口
外鏈指向的頁面、首頁、Sitemap 里列出的 URL，以及歷史抓取记錄里表現稳定的頁面，都會成為入口。它們的作用並不一样：
- 首頁：連結密度高，能让蜘蛛快速看到站点的大致结构，但也容易被導航和推荐位稀释。
- 栏目頁與列表頁：直接连着大量正文，是扩展抓取面的主要通道。
- Sitemap 中的 URL：回答的是“有哪些頁面”，不保證马上抓，但能补充入口的广度。
- 外鏈落地頁：外部给過来的入口，蜘蛛會把這個起点当作相對可信的位置，從它往下走。
挑入口頁时看什么
不用把每個頁面都做成入口，但被当作入口的那几個，值得單獨检查：
- 能不能稳定返回 200，服務器抖動时它是不是第一個倒下的。
- 從它到正文的跳數是否够短，两三跳内能摸到内容頁最好。
- 頁面上的連結是否指向真實存在的 URL，有没有大量失效或重定向的連結混在里面。
- 内容是否真的會更新，長期不動的入口頁，抓取频次也會慢慢降下来。
入口頁與抓取深度的關系
蜘蛛的抓取是有节奏的：一批 URL 抓完，再從结果里挑下一批。入口頁如果集中在同一层、同一種類型，蜘蛛容易在某一层就耗尽兴趣；入口頁分散在不同栏目、不同层級，抓取路径才會自然铺開。
入口頁不是越多越好，而是要让蜘蛛從一個入口出發，能走到足够多、彼此不同、且都有價值的目的地。
几個常见的入口設定問题
- 把所有入口都压在首頁，導航之外的頁面長期得不到發現。
- 入口頁依赖 JS 渲染才有連結，HTML 源碼里几乎是空的。
- 入口頁返回 200，但正文為空，形成软 404 式的消耗。
- 几個入口頁互相跳轉成环，蜘蛛在里面绕圈子，走不出去。
落地检查顺序
- 先看服務器日誌里，蜘蛛實际落地的頁面是哪几個，而不是你以為的那几個。
- 對比 Sitemap 提交的 URL 與實际被抓的 URL，差集往往就出在入口设計上。
- 检查入口頁到正文的路径是否通畅，中間有没有断鏈、重定向鏈或孤岛頁。
- 確認服務器在抓取高峰时段的响應時間，入口頁本身要扛得住。
入口頁的作用是给蜘蛛一個合理的起点，让它自己把路径铺開。它决定不了收錄和排名，但會影响蜘蛛愿意在你站内走多遠、走多勤。把入口頁当成站点结构的一部分来打理，比事後补連結要省力得多。