Sitemap 和内鏈是两套獨立的 URL 线索来源：前者是站点主動提交的清單，後者是頁面之間自然形成的路径。两者一致时最省事；不一致时蜘蛛不會停下来問你，而是按自己的規則做取舍。
两套线索各自管什么
Sitemap 主要解决“發現”：它告诉蜘蛛哪些 URL 存在，尤其是那些内鏈难以到達、或者刚上线還没来得及被連結的地址。内鏈解决的是“路径和優先級”：一個 URL 被多少頁面連結、連結出現在什么位置、锚文本寫了什么，會影响蜘蛛的訪問顺序和重訪频率。
換句话说，Sitemap 更像一份清單，内鏈更像一張地图。清單可以不完整，地图也可以有空白，但两者對不上时，蜘蛛會優先相信自己顺着連結走出来的那條路线。
几種常见的“打架”情形
- 只出現在 Sitemap 里：頁面能被發現，但没有任何内鏈指向它。蜘蛛可能抓一次就不再回来，長期缺少站内信号，收錄和更新都會更慢。
- 只出現在内鏈里：只要連結可爬、没有被 robots 拦截，蜘蛛仍能顺着頁面找到它。Sitemap 缺失不影响發現，只是少了一次明示。
- Sitemap 里是重定向或 404：蜘蛛跟過去落到別的地址，等于浪費一次抓取机會，也會让這份清單的可信度打折。
- Sitemap 里的頁面带 noindex：發現和抓取都會發生，但頁面不會進入索引，這類 URL 留在清單里意义不大。
- 内鏈指向被 robots 屏蔽的路径：連結能被讀到，抓取被拦下，路径就此中断，後期想恢复需要重新建立线索。
冲突时蜘蛛的實际選擇
多數搜尋引擎的處理逻辑接近：Sitemap 用来补充發現，内鏈用来判断重要程度。所以当两者给出不同答案时，通常是這样的结果——
- Sitemap 有、内鏈無的頁面，會被抓，但優先級靠後，重訪間隔更長。
- 内鏈有、Sitemap 無的頁面，照常被抓，抓取节奏取决于它在站内所處的位置。
- Sitemap 里已经失效的 URL，被訪問一次後逐步降低频率，直到几乎不再出現。
- 内鏈和 Sitemap 都指向同一個 301 目标，蜘蛛最终收敛到终点地址，原 URL 的线索慢慢衰减。
把 Sitemap 当成“多加一條线索”，而不是“替代内鏈”。指望靠它让一堆没有内鏈的頁面获得稳定抓取，通常不現實。
一個常见的誤区
有人把 Sitemap 当成“提交了就一定抓”的開關，于是把大量没有内鏈的頁面塞進去。结果是清單越来越長，實际被抓的比例却没有變化，反而让真正重要的地址淹没在里面。更稳妥的做法是控制体量，只放那些打算長期维護的 URL。
站点运营上的處理方式
- 新頁面優先保證從已有頁面给出至少一條内鏈，再考虑進 Sitemap。
- 定期比對清單與站内連結，把只存在于 Sitemap 的孤儿頁面挑出来，补連結或做取舍。
- Sitemap 里避免出現重定向、404、noindex 地址，保持干净。
- 内鏈结构保持相對稳定，频繁改版會让蜘蛛正在走的路径突然断掉。
- 观察服務器日誌里各 URL 的抓取频率，判断哪些頁面實际被当作重点對待。
两套线索不必完全一致，但差异要能解释得通。如果一個頁面既没有内鏈，也不在 Sitemap 里，那它基本只能等外部連結把它带出来，這個過程往往比预期慢得多。