做蜘蛛池时，很多人會把目标 URL 同时寫進入口頁的 sitemap，也放在頁面里做成可点击連結。两套出口偶尔對不上：sitemap 里有、頁面上没有，或者頁面上有、sitemap 里没更新。遇到這種情况，搜尋蜘蛛並不會“二選一”，但两類入口在發現和抓取上的權重确實不同。
sitemap 更像一份候選清單
sitemap 的主要作用是告诉搜尋蜘蛛“這里還有這些 URL 可以看看”。它不保證抓取，也不保證收錄。搜尋蜘蛛會把它当作發現 URL 的补充来源，至于先抓哪些、抓多深、隔多久再抓，仍要看目标 URL 本身的可訪問性、内容质量和站内連結结构。
如果 sitemap 里的 URL 長期返回 404、301 或需要登入，搜尋蜘蛛會逐步降低對這份文件的信任，後續從 sitemap 触發的抓取也會變少。
頁面里的可点击連結，通常更直接
入口頁正文、導航或頁脚里的可点击連結，是搜尋蜘蛛發現 URL 的常規路径。它能带上锚文本、上下文和連結位置，帮助搜尋蜘蛛判断這個 URL 大致讲什么、值不值得抓。相比只寫在 sitemap 里，頁面連結多了一层“推荐”意味。
- sitemap 有、頁面没有：目标 URL 可能仍被發現，但缺少内鏈支持，抓取频率通常更低。
- 頁面有、sitemap 没有：不影响正常發現，sitemap 只是少交了一份清單，問题不大。
- sitemap 寫過时 URL：搜尋蜘蛛可能反复试探舊地址，直到多次失敗後才减少訪問。
- 两邊都有但指向不同參數：容易让同一内容出現多個 URL，分散抓取量。
不一致时，先看抓取日誌而不是猜
判断搜尋蜘蛛更信哪一邊，最直接的办法是對比日誌。把 sitemap 里的 URL 列表和入口頁可点击連結列表分別導出，再和訪問日誌中的抓取记錄交叉比對。
- 看 sitemap 中獨有 URL 是否被抓、返回什么狀態碼。
- 看頁面連結獨有 URL 的抓取量，是否明顯高于 sitemap 獨有部分。
- 检查 sitemap 的更新時間和 lastmod 是否與實际修改一致。
- 確認 sitemap 里没有已经失效、重定向或需要登入的 URL。
如果 sitemap 獨有 URL 長期零抓取，而頁面連結獨有 URL 有稳定抓取，說明目前入口頁的連結结构更被信任。此时應優先整理頁面連結，而不是繼續往 sitemap 里加 URL。
让两邊尽量一致
最省事的做法是让 sitemap 和頁面可点击連結指向同一批目标 URL，參數、协议和域名寫法保持一致。sitemap 保持精简，只放需要被抓取的地址；頁面連結放在正文或導航中，避免全部塞進頁脚或隐藏区域。
sitemap 不能替代站内連結结构。如果入口頁本身没有可点击路径，只靠 sitemap 提交，URL 發現會慢，抓取也不稳定。
两邊不一致不一定會立刻出問题，但長期看會增加無效抓取和排查成本。定期用日誌核對一次，比反复調整 sitemap 更有效。