做站点运营时，很多人把 Sitemap 当成萬能清單，提交完就等蜘蛛来。實际上，蜘蛛發現 URL 主要靠两條路：一條是 Sitemap，另一條是站内連結。两者不是二選一，而是分工不同。理解這一点，能少走很多弯路。

Sitemap 解决“有哪些”，内鏈解决“怎么走”

Sitemap 的價值在于把 URL 集中列出来，尤其是那些靠内鏈不容易被發現的頁面。它像一份清單，告诉蜘蛛“這些地址存在”。但清單本身不决定抓取顺序，也不传递頁面之間的權重關系。

内鏈則不同。蜘蛛顺着連結從一個頁面走到另一個頁面，連結的位置、锚文本、所在頁面本身的重要性，都會影响它對目标 URL 的判断。換句话说，Sitemap 管發現，内鏈管路径和優先級。

哪些 URL 适合放進 Sitemap

不是所有 URL 都值得寫進 Sitemap。放得太多太杂，反而會稀释清單的參考價值。比較适合的包括：

• 重要的栏目頁、詳情頁和专题頁；
• 新發布、需要尽快被發現的頁面；
• 内鏈較少但内容有價值的深层頁面；
• 更新频率較高、需要定期回爬的頁面。

不太适合放進来的，包括带大量參數的商品篩選頁、重复内容頁、已经 404 或 410 的地址、被 noindex 的頁面，以及需要登入才能訪問的 URL。把這些地址留在 Sitemap 里，蜘蛛每次来都要處理一遍，對双方都没有好處。

内鏈结构的几個實用原則

内鏈不需要做得复杂，但要做到“路能走通”。常见做法是：

1. 首頁和频道頁保持清晰的導航入口，让蜘蛛能逐层向下；
2. 列表頁、聚合頁控制數量，避免一個頁面堆出几百條連結；
3. 詳情頁之間用相關推荐、上一篇/下一篇建立横向连接；
4. 面包屑導航帮助蜘蛛理解层級，也方便用戶返回；
5. 锚文本尽量自然，不要全站统一用同一個词指向同一批頁面。

如果某些頁面只能從 Sitemap 發現，站内却没有任何連結指向它們，蜘蛛抓到之後也很难判断這些頁面的位置。長期来看，這類頁面容易變成孤岛，更新後也不容易被重新回爬。

两條路怎么配合

比較稳妥的做法是：Sitemap 保底發現，内鏈决定抓取優先級。新頁面發布後，先通過 Sitemap 让蜘蛛知道地址，同时在相關栏目或内容里加上内鏈，给它一條可以反复走到的路。這样即使 Sitemap 暂时没被讀取，頁面也有机會被顺藤摸瓜發現。

對于已经收錄的頁面，更新後可以在 Sitemap 里調整 lastmod，並從首頁或频道頁给出临时入口。但不要為了“催抓”而频繁改動時間戳，蜘蛛會參考多個信号，不會只看一個字段。

服務器稳定性是共同前提

不管走哪條路，抓取都要落到服務器上。如果抓取過程中频繁出現超时、5xx 或连接中断，蜘蛛會降低訪問频率，甚至暂时减少對站点的抓取。稳定的响應比任何技巧都更重要。维護窗口尽量避開抓取高峰，不要用長時間 503 来“挡”蜘蛛。

日常检查可以看什么

可以從三件事入手：

• 看抓取日誌，確認 Sitemap 里的 URL 是否真的被訪問過，哪些一直没出現；
• 用站内爬虫工具检查孤岛頁面，看看有多少 URL 没有内鏈入口；
• 定期清理 Sitemap，刪除失效地址，补充新的重要頁面。

這些工作不能保證收錄或排名，但能让蜘蛛發現和抓取的過程更顺畅。把清單和路径都理顺，剩下的交给内容和時間。

把 Sitemap 当作發現入口，把内鏈当作抓取路径，两者配合好，比單獨依赖任何一個都更稳妥。