蜘蛛發現一個 URL，通常不是靠單一入口，而是三條路径同时在起作用：站内連結、Sitemap 文件、以及站外連結和各類提交接口。三條路各有擅長的场景，也各有盲区。理解它們的差別，比單纯想着多提交几次更有用。
三條入口分別适合什么
- 站内連結：首頁、栏目頁、相關推荐、正文内鏈。蜘蛛顺着連結走，天然能拿到頁面的层級關系和上下文，也能通過連結的變化感知内容更新。
- Sitemap：适合层級深、連結少、或者靠点击不容易到達的頁面，比如老文章归档、PDF 文件、獨立落地頁。它是一份清單，不传递權重，但能补齐連結覆盖不到的部分。
- 站外入口與提交接口：外鏈、社交分享、站長平台的 URL 提交。作用是让蜘蛛第一次知道這個地址存在，之後的抓取节奏還是要看站内信号。
每條路的短板在哪里
Sitemap：只說明存在，不說明重要
把全站 URL 塞進 Sitemap 是最常见的做法，但 Sitemap 本身不区分主次。一堆參數頁、已下线的舊地址、返回 301 或 404 的連結混在里面，反而让真正需要抓取的頁面淹没其中。Sitemap 的價值在于准确，不在于多。
内鏈：结构决定深度
蜘蛛沿着連結一层层往下走，連結层級越深，被訪問到的机會越小。如果重要内容只挂在很深的列表頁里，或者需要翻很多頁才能到達，靠内鏈很难被稳定抓到。反過来，如果站内到處是同一個地址的不同寫法，也會让抓取分散。
站外入口：只解决第一次
外鏈能让新頁面第一次被發現，但蜘蛛是否常来、来得多深，取决于站内是否有持續的連結和内容更新。只靠外鏈引来的頁面，往往抓一次之後就被搁置很久。
让三條路互相补位
- 把重要頁面放進清晰的導航或栏目頁，保證從首頁出發几跳之内可以到達。
- 把难以連結到的頁面寫進 Sitemap，並且只放狀態正常、允许抓取的 URL。
- 内容更新时同步調整 lastmod，让 Sitemap 里的時間信息與實际改動對得上。
- 用站外連結和提交接口解决新 URL 的冷啟動，之後靠内鏈维持抓取频率。
- 定期拿抓取日誌和 Sitemap 做對照，看看哪些已提交的 URL 長期没有訪問记錄。
三條入口不是互相替代的關系。Sitemap 保證覆盖面，内鏈决定抓取深度和频率，站外入口负责打破零訪問。缺哪一块，都會在某個环节漏掉一批 URL。
用日誌判断哪條路在起作用
日誌里可以看到蜘蛛訪問某個 URL 时留下的跳轉来源，以及该 URL 首次出現的路径。一個简單做法是按目錄統計訪問量，看哪些目錄的抓取主要来自 Sitemap，哪些来自站内連結。如果某個目錄只有 Sitemap 的提交记錄，却几乎没有站内跳轉的痕迹，說明它在站内接近孤立，抓取的稳定性通常會更差一些。
還可以留意首次發現時間與首次抓取時間之間的間隔。同一批 URL 中，能被内鏈快速引到的，間隔往往較短；只靠 Sitemap 的，間隔會長一些，也更依赖站点整体的抓取安排。
几個常见的坑
- Sitemap 里混入了 noindex 頁面或重定向地址，白白消耗抓取机會。
- 站内連結靠 JS 跳轉實現，HTML 里没有真實連結，蜘蛛看不到通道。
- 分頁列表给連結加了 nofollow，相当于把深一层的内容通道直接關掉。
- 改版後站内連結換了地址，Sitemap 却還在提交老地址，两邊對不上。
- 只提交首頁，不理會栏目頁和詳情頁，以為提交之後就會自動扩散。
做這些检查並不需要多复杂的工具，日誌、Sitemap 加上一次手動点击走查，就能覆盖大部分問题。把三條入口對齐之後，URL 發現和抓取覆盖通常會稳定一些，但實际效果仍取决于站点規模、更新频率和服務器响應情况，没有一劳永逸的設定。