很多人在搭蜘蛛池入口頁时，會顺手把入口頁 URL 丢進 sitemap 提交给搜尋引擎，然後就等着搜尋蜘蛛来抓。随之而来的疑問是：既然 sitemap 已经告诉搜尋引擎這些 URL 存在，頁面里那些指向目标 URL 的超連結，還有必要放吗？两者到底是什么關系？
sitemap 和頁面連結，是两條不同的發現路径
先明确一点：sitemap 和頁面内連結解决的不是同一個問题。
- 頁面連結：搜尋蜘蛛先抓到一個頁面，再顺着頁面里的 a 标簽發現新 URL。前提是這個頁面本身已经被抓到過。
- sitemap：相当于主動交一份 URL 清單，让搜尋引擎知道這些地址存在。它更适合那些缺少外鏈、又不是從別處鏈過去的新域名或新目錄。
也就是说，sitemap 能帮入口頁被更快發現，但入口頁被發現之後，頁面上有哪些連結、锚文本是什么，仍然要靠抓取頁面本身才能拿到。
sitemap 不能完全替代頁面里的連結
有人會想：既然 sitemap 里已经把目标 URL 全列出来了，入口頁里就不用放連結了。這样做有几個現實問题。
- 只有 URL，没有上下文。頁面連結旁邊的文字、锚文本、所在段落的主题，都是搜尋蜘蛛判断這個連結指向什么的參考。sitemap 里只有一串地址，信息量少得多。
- 提交不等于被抓取。sitemap 是告知，不是指令。搜尋引擎會按自己的抓取配額和優先級决定什么时候抓、抓多少，没有任何提交方式能保證被收錄。
- 入口頁會失去结构。如果入口頁里没有實际連結，它本身就變成一頁几乎没内容的清單，長期看對入口頁自身的可信度没有帮助。
更常见的做法：两條路一起走
實际运营里，常见的是分工使用，而不是二選一。
- 把入口頁自身的 URL 放進 sitemap，让它更快被發現，尤其是在新域名阶段。
- 在入口頁里用正常的 a 标簽放目标 URL，保留锚文本和上下文，让搜尋蜘蛛抓到入口頁後能顺着走。
- 如果目标站是自己可控的站，可以再單獨给目标站做一份 sitemap；如果目标站不可控，就不要把別人的 URL 塞進自己的 sitemap，避免被当成異常資料。
- 入口頁數量多的时候，用 sitemap 索引文件组织，不要把所有 URL 塞進一個文件里。
提交 sitemap 时容易踩的坑
- 地址寫法不统一。http 和 https、带 www 和不带 www、结尾斜杠有無，混着寫很容易被当成不同 URL，白占配額。建议统一成最终地址。
- 放了不能抓的 URL。返回 5xx、被 robots.txt 屏蔽、带 noindex 的地址放進 sitemap，抓取後大概率是無效消耗，還可能影响這份 sitemap 的整体可信度。
- 反复提交同一份。内容没變化时高频重新提交，不會加快速度，反而顯得異常。有更新再更新文件即可。
- 只提交不检查。搜尋资源平台里的 sitemap 报告能看到已提交和已抓取的差距，長期只提交不被抓，要回头查入口頁本身的质量和服務端响應。
怎么判断有没有起作用
最直接的方式還是看日誌。可以對比一段時間内搜尋蜘蛛對入口頁的抓取次數，和對目标 URL 的抓取次數變化。如果入口頁被大量抓取，但目标 URL 几乎没有動静，問题多半出在入口頁里的連結形式或目标 URL 自身的返回狀態，而不是没提交 sitemap。
sitemap 负责让入口頁被找到，頁面連結负责让目标 URL 被顺着發現，两者互补，谁也替代不了谁。
如果你的入口頁目前只靠 sitemap 提交、頁面里没有實际連結，建议先补上正常的 a 标簽，再观察日誌里的抓取變化，而不是繼續加大提交频率。