在蜘蛛池或站点运营中，经常遇到一種做法：入口頁不放普通超連結，只放一個 XML sitemap 文件，把目标 URL 全部列在里面。這样做的初衷是省事，也避免入口頁連結太乱。但搜尋蜘蛛會不會顺着 sitemap 去抓目标 URL，是另一個問题。
sitemap 是 URL 發現的辅助通道
主流搜尋引擎都支持 XML sitemap，它可以帮助蜘蛛發現站点希望被處理的 URL。你可以在 robots.txt 里声明 sitemap 地址，也可以主動提交。搜尋蜘蛛在抓取過程中，會定期讀取 sitemap 文件，把里面列出的 URL 加入待抓取队列。
所以，入口頁只有 sitemap、没有 HTML 連結时，搜尋蜘蛛有可能通過 sitemap 發現目标 URL。注意，這里说的是“有可能”，不是“一定”。sitemap 提供的是线索，不是抓取指令。
只有 sitemap 會带来哪些限制
相比入口頁上的普通連結，sitemap 的發現路径多了一层。蜘蛛需要先知道 sitemap 的位置，再安排時間去讀取，然後才可能抓取里面的 URL。這個過程通常比直接抓入口頁並顺着連結走要慢，也不那么确定。
如果只依赖 sitemap，容易出現几個問题：
- sitemap 没有被 robots.txt 声明，也没有提交给搜尋引擎，蜘蛛可能很久都不来讀一次。
- sitemap 文件本身返回错誤狀態碼，或者 XML 格式有問题，蜘蛛讀取失敗，里面的 URL 自然不會被發現。
- sitemap 里 URL 數量過多、更新频繁，蜘蛛可能只處理一部分，或者延迟處理。
- 入口頁没有任何連結，蜘蛛即使来過一次，也缺少再次回訪入口頁的理由，sitemap 更新後不一定及时被注意到。
這些情况並不代表 sitemap 没用，而是說明它更适合作為补充手段，而不是唯一手段。
和普通 HTML 連結相比有什么区別
普通 HTML 連結是搜尋蜘蛛發現 URL 最直接的路径。蜘蛛抓取入口頁时，解析 HTML，看到 a 标簽的 href 属性，就會把目标 URL 加入队列。連結的位置、數量、是否可点击，都會影响蜘蛛是否繼續跟踪。
sitemap 則更像一份清單。蜘蛛需要专门去讀取它，讀取频率和抓取预算有關。對于新站点或抓取频率不高的站点，sitemap 的更新被及时發現的概率會低一些。两者並不冲突，配合使用通常更稳妥。
實操上可以這样處理
- 入口頁保留至少一個普通 HTML 連結，指向目标 URL 或分類頁。不要把所有希望都押在 sitemap 上。
- 如果目标 URL 很多，可以用 sitemap 做批量补充，但入口頁仍然要有清晰的連結入口。
- 把 sitemap 地址寫進 robots.txt，並在搜尋资源平台提交，方便蜘蛛找到。
- 定期检查 sitemap 的 HTTP 狀態、XML 格式和 URL 可訪問性，避免清單本身出問题。
- 观察服務器日誌，看搜尋蜘蛛是否讀取了 sitemap，是否抓取了里面的目标 URL。日誌比猜测更有參考價值。
sitemap 是路标，不是传送门。它告诉搜尋蜘蛛“這里有 URL”，但蜘蛛是否去抓、多久抓一次，仍然由搜尋引擎根據自身策略决定。
常见誤区
有人以為只要 sitemap 里寫了 URL，搜尋蜘蛛就會全部抓取並收錄。實际上，sitemap 只解决“發現”环节的一部分，抓取和收錄還取决于 URL 质量、站点整体情况、服務器响應等因素。也不建议為了省事，把入口頁做成只有 sitemap 的空壳，這样既少了連結關系，也不利于蜘蛛理解頁面结构。
更實际的做法是：入口頁用少量普通連結提供主要路径，sitemap 负责补充更多 URL。两者各司其职，比單獨依赖某一種更符合搜尋蜘蛛的抓取习惯。