搜尋蜘蛛發現一個 URL，通常靠两條通道：一條是站点地图（Sitemap）這種主動提交的清單，另一條是頁面之間的内鏈。两者不是二選一的關系，更像是目錄和路标：目錄告诉你有哪些地址，路标决定蜘蛛能不能顺着走到那里。
Sitemap 與内鏈各自解决什么問题
Sitemap 的優势是覆盖面。新發布的文章、层級較深的商品頁、内鏈一时還没补上的頁面，都可以先寫進 Sitemap，让搜尋蜘蛛知道這個地址存在。它不保證被抓取，但至少解决了“有没有被發現”這一步。
内鏈的優势是路径。蜘蛛沿着連結逐跳前進，能顺带看到連結所在的上下文、周邊内容和頁面结构。一個只出現在 Sitemap 里、站内没有任何入口的 URL，往往抓取频次偏低，回訪也不稳定。
只靠 Sitemap 的常见問题
- Sitemap 里的 URL 數量很大，但站内没有對應入口，抓取優先級天然靠後。
- 文件長期不更新，里面混着已下线、已改地址的老連結，白白消耗抓取次數。
- 只提交了列表頁，没有提交詳情頁，蜘蛛進得来却走不深。
只靠内鏈的常见問题
- 孤岛頁面永遠等不到蜘蛛，除非有站外連結或手動提交。
- 内鏈层級太深，從首頁要点很多次才能到，抓取路径被拉長。
- 動態生成的頁面如果没有稳定入口，可能長期處在待發現狀態。
两條通道怎么配合
比較省事的做法是让两者互相补位，而不是重复劳動。
- 新内容上线後，先放進内鏈体系：首頁、栏目頁、相關文章里给它一個真實入口。
- 同时把新 URL 寫進 Sitemap，让發現不依赖蜘蛛恰好走到那條連結。
- Sitemap 只放希望被抓取的規范地址，重复參數、篩選结果、已下线頁面不要混進去。
- 定期用 Sitemap 和站内入口做交叉核對，找出“提交了但站内没入口”的頁面，優先补連結。
服務器稳定是前提
两條通道最终都要落在服務器上。如果响應时快时慢，或者频繁返回 5xx，蜘蛛抓了几次拿不到内容，回訪間隔就可能被拉長，URL 發現的速度也跟着變慢。反過来，稳定的响應至少让已發現的 URL 有机會被正常取回。
一個简單的核對顺序
- 打開 Sitemap，確認里面的地址都是 200 狀態、内容有效的頁面。
- 抽几個 Sitemap 里的深层 URL，看站内是否有点得到的入口。
- 检查入口連結是否可被抓取，没有被脚本、登入或其他方式挡住。
- 查看服務器日誌里這些 URL 的响應碼和抓取频次，判断路径是否通畅。
把 Sitemap 当唯一手段，容易让頁面停留在“被發現但没被走通”的狀態；只靠内鏈，則可能漏掉那些结构上暂时接不上的新地址。
總结一句：Sitemap 负责把地址摆到台面上，内鏈负责把路修通，服務器负责让蜘蛛走得下去。三者都正常时，URL 發現的效率才會比較稳定。