在蜘蛛池里，入口頁负责把搜尋蜘蛛引過来，目标 URL 才是真正希望被發現的地址。很多人會問：目标 URL 到底是放進 sitemap 更有效，還是寫在入口頁正文里更有效？這两條路走的是不同机制，谈不上谁绝對更好，但排查問题时必须先分清楚。
sitemap 和正文連結，本质上是两條發現通道
简單说：
- sitemap 是把一批 URL 直接列成清單交给搜尋引擎，相当于主動报备“這些地址存在”。它不携带锚文本、頁面位置和上下文语义。
- 正文連結 是搜尋蜘蛛在抓取入口頁时，顺着 a 标簽往外爬，属于連結图發現，通常會带上锚文本和頁面层級信息。
也就是说，sitemap 解决的是“知不知道有這些地址”，正文連結解决的是“從哪條路径爬過去”。两者可以同时用，也可以只用一種，但效果和排查方式並不一样。
sitemap 這條路常见的几個誤区
- 把提交 sitemap 等同于让頁面被抓取。 sitemap 只影响發現环节，不保證抓取，更不保證收錄。
- 往里塞大量與站点無關的 URL。 清單越杂，搜尋引擎對整份文件的信任度越低，反而可能拉低有效地址的發現效率。
- sitemap 文件本身抓不到。 如果 robots.txt 屏蔽了 sitemap 路径，或者文件返回 404、500，這份清單基本等于没提交。
- 只更新頁面不更新 sitemap。 新增目标 URL 後忘了寫進文件，或者 lastmod 時間與頁面實际改動長期對不上。
正文連結這條路常见的几個誤区
- 連結层級過深。 目标 URL 藏在入口頁第三、第四层分頁後面，搜尋蜘蛛可能爬到一半就停了。
- 連結由 JS 异步插入。 在渲染能力有限的抓取场景下，這些地址可能根本讀不到。
- 一頁塞太多連結。 連結數量遠超頁面實际可用内容，單個連結分到的抓取權重會被摊薄。
- 連結带 nofollow 或被 robots 屏蔽。 搜尋蜘蛛即使看到地址，也不會繼續跟進。
两種方式怎么配合比較稳
- 先確認目标 URL 本身可以被抓取：狀態碼正常、没有被 robots.txt 拦截、頁面没有 noindex。
- 用 sitemap 保證清單完整，把需要被發現的地址系統性地列出来，减少遗漏。
- 在入口頁保留少量、位置靠前的正文連結，让這些地址在連結图里也有入口。
- 观察服務器日誌，区分抓取来源：Referer 為空或指向 sitemap 文件，通常来自清單；Referer 是入口頁地址，多半是顺連結爬過来的。
- 不要因為迟迟没收錄就不断加量。先看抓取是否已经發生，再考虑是否調整内容或頁面结构。
怎么從日誌判断是哪條路径
抓取日誌里，搜尋蜘蛛請求目标 URL 时带的 Referer 能提供线索。Referer 為空、指向 sitemap 文件，或者指向搜尋引擎内部的調度地址，一般說明這次抓取来自 sitemap 或其他提交渠道；Referer 明确是入口頁 URL，則說明是顺着頁面連結爬過来的。两種来源混杂出現也很正常，不必强行区分，重点看目标 URL 是否真的被請求過。
sitemap 管“报备”，正文連結管“引路”。只报备不引路，地址可能長期停留在已發現未抓取的狀態；只引路不报备，則容易漏掉那些没有任何連結指向的地址。
實际运营中，入口頁的结构、抓取频率、目标 URL 的可訪問性，往往比用哪種提交方式影响更大。把這几項基础條件確認清楚，再回头看 sitemap 與正文連結的差別，思路會清晰很多。