蜘蛛進入一個站点，總要有第一步。它不會凭空知道你的 URL，每一轮抓取都得從某個頁面開始——可能是首頁，可能是 Sitemap，可能是某條外鏈落到的詳情頁，也可能是上一轮抓取时留下的、更新比較勤的那几個地址。這些起点就是入口頁。入口頁稳，蜘蛛進来的第一脚就踩得實；入口頁乱，蜘蛛来了也容易在门口打轉。
入口頁不等于首頁
很多人預設蜘蛛每轮都從首頁開始，實际情况更杂一些。首頁确實是權重最高、最常被訪問的入口，但搜尋引擎也會记住那些内容更新频繁的頁面，把它們当作新一轮的起点。一個每天都在更新的栏目列表頁，可能比首頁更早被訪問到。所以與其纠结首頁怎么寫，不如把站点里几個更新最勤、结构最清楚的頁面都当成潜在入口来對待。
常见的几種入口，各有各的脾气
- 首頁：抓取频次通常最高，路径也最短。但首頁連結位是稀缺资源，不可能把所有新内容都往上面放。
- Sitemap：适合批量提交 URL，尤其是那些不靠内鏈串起来、或者埋得比較深的頁面。它是入口，但不是替身，別指望光靠它就能让蜘蛛理解站内结构。
- 栏目列表頁與最新内容区：更新有节奏，連結數量适中，是蜘蛛比較愿意反复走的第二梯队入口。
- 外鏈落地的頁面：別人鏈到哪，蜘蛛就可能從哪進。這些頁面的内容最好和站点主体相關，別让它變成一個孤零零的末端頁面。
- 订阅源或更新接口：部分抓取會參考這類更新信号，前提是内容真實、格式規范。
入口頁要满足的几個基本條件
- 返回 200，内容稳定，不要今天是這样、明天打開變成空壳。软 404 是入口頁最忌讳的狀態。
- 頁面用 HTML 就能看到連結，不要全靠在浏览器里跑脚本才渲染出来。抓取器看到的是源碼，源碼里没有連結，就没有下一步。
- 响應速度別太差。入口頁是整轮抓取的起点，它慢一拍，後面顺着它走的所有頁面都會往後拖。
- 跳轉鏈尽量短。入口頁直接指向目标頁面最好，中間隔两三层重定向，每多一跳都是一次額外開销。
- 連結指向的位置要能反映站点结构。入口頁如果只连到几個無關頁面，蜘蛛顺着走两下就找不到方向了。
给新内容多留一條進来的路
新 URL 最难的不是被收錄，而是先被發現。如果它只有一條内鏈，而且那條内鏈還在一個深层頁面的角落，從發布到被抓，中間可能要等很久。做法並不复杂：在首頁的新鲜内容区、栏目的最新列表、相關文章模块里给它留出位置，哪怕只放几天。多個入口指向同一個新頁面，並不是浪費，而是给蜘蛛提供了几條不同的到達路线。
要注意的是，入口位不要全被舊内容占着。如果一個栏目列表頁几個月没換過連結，蜘蛛再来几次發現没變化，自然就懒得再来了。
用日誌回看入口頁的表現
- 哪些頁面几乎每轮都出現在早期的抓取记錄里，它們就是事實上的入口頁。
- 入口頁的返回碼分布如何，有没有混進大量 404、5xx 或者 3xx。
- 入口頁被抓之後，蜘蛛有没有繼續顺着上面的連結往下走，還是抓完就离開。
- 同一入口頁的平均响應時間有没有明顯波動。
几個容易被忽略的坑
- 入口頁被 CDN 缓存成舊版本，新連結迟迟不出現在源碼里。
- 入口頁上的連結被加了一堆 nofollow，蜘蛛看得见却走不下去。
- 入口頁本身參與了多跳重定向，蜘蛛每次都得先跟一段跳轉才能落地。
- 入口頁内容频繁但無意义地變化，蜘蛛每次看到的東西都不一样，反而增加了它的判断成本。
入口頁只是起点。蜘蛛最终抓多少、抓多深，取决于站点整体结构、内容更新节奏和服務器的稳定程度，單獨改一處通常不會有立竿见影的變化，把它当成長期维護的一部分更合适。
把入口頁当成一件需要定期检查的事：看看它們還在不在、還是不是 200、上面的連結還指不指得動。這些事情花不了多少時間，但它們决定了蜘蛛每一轮進门时，看到的是一個清晰的站，還是一团需要慢慢摸索的线。