很多人預設蜘蛛是從首頁開始，一层层往下爬。實际抓取更像多路並行：首頁、栏目頁、Sitemap、站外連結、更新提交接口，都可能是某條 URL 的第一跳。某個入口失效，蜘蛛未必不来，但可走的路径會明顯變窄，新頁面被發現的速度也會慢下来。
常见的几類抓取入口
首頁與栏目導航
首頁是多數站点最稳定的入口，但它的價值不在首頁本身，而在于導航把蜘蛛带向哪些栏目。如果主要栏目只靠悬浮菜單或点击後才加载，蜘蛛首轮可能只看到首頁的一小部分連結。
Sitemap 與索引文件
Sitemap 解决的是“蜘蛛知道有這些 URL”，不保證一定抓。它更大的意义是给深层頁面一個不依赖内鏈的入口，尤其是新上线的目錄。文件本身要能被訪問、格式正确、只放返回 200 的規范 URL。
站外連結
外鏈是一條经常被忽略的入口。指向栏目頁或文章頁的外鏈，能让蜘蛛绕過首頁直接到達深處。如果外鏈指向的是跳轉鏈、404，或需要登入才能看的頁面，這條入口基本就废了。
更新提交與 Feed
搜尋平台提供的提交方式、站点自身的 RSS 或更新 Feed，都可以作為补充入口。它們不承诺收錄，作用主要是把“刚刚變化”的信号递出去，让蜘蛛更早知道有東西值得看。
被外部引用的深层頁
有些頁面没有内鏈，却因為被论坛、聚合站引用而被抓到。這種入口不稳定，一旦對方删鏈，頁面很可能重新變成孤岛。
怎么判断哪個入口在起作用
- 在服務器日誌里按蜘蛛 UA 過滤，看某條 URL 首次被抓时，前一跳的 Referer 是什么。
- 對比 Sitemap 的抓取记錄：文件被請求的频率，和文件里 URL 被實际抓取的比例。
- 记錄新 URL 從發布到第一次被抓的時間差，入口多、路径短的站点，這個時間通常更短。
- 看抓取是集中在首頁和列表頁，還是能持續深入到詳情頁，這能反映入口的通畅程度。
入口常见故障與排查顺序
- robots.txt 誤拦。先確認 Sitemap 文件本身、静態资源目錄没有被 Disallow 挡住。
- Sitemap 打不開。检查是否 404、返回 5xx、内容為空，或被 CDN 缓存了舊的错誤响應。
- 導航不可见。菜單用 JS 渲染、連結用按钮替代、關键入口藏在图片里，都會让蜘蛛拿不到連結。
- 外鏈失效。抽查主要外鏈的目标地址，看是否经過多次跳轉、落到 404，或指向被屏蔽的路径。
- 服務器响應慢。入口頁打不開或超时，蜘蛛會降低来訪频率，後面所有路径都會受影响。
让入口更稳的几個习惯
- 重要栏目和内容，至少有两條不同入口：導航一條，Sitemap 或正文内鏈一條。
- Sitemap 按内容類型分段，出問题时能快速判断是文件問题還是頁面問题。
- 上线新目錄时，先在首頁或频道頁给一個固定連結，再提交 Sitemap。
- 定期從日誌里挑几條久未被抓的 URL，反向检查它們的入口是否還在。
入口的價值不是“多”，而是“通”。一條能稳定走到目标頁的路径，胜過五條看起来存在、實际中途断掉的連結。
抓取诊断可以简單一点：不要只盯着蜘蛛来没来，而是看它是從哪條路進来的、走到哪一层停下。把入口列表整理清楚，逐個驗證，多數“蜘蛛不抓新頁面”的問题，都能在入口這一层找到线索。