入口頁要發挥作用，前提是搜尋蜘蛛能拿到里面的連結。很多人纠结：到底该把目标 URL 放進 sitemap，還是靠入口頁上的普通連結？两者的發現机制不一样，适用场景也不一样，硬要二選一往往效果打折。

一句话结论：sitemap 解决的是“我知道有哪些 URL”，HTML 内鏈解决的是“蜘蛛走到這里顺手發現”。單獨用一條都能跑通，组合起来更稳。

两條路径的机制差別

sitemap：批量声明，等待調度

sitemap 是一份 URL 清單，搜尋蜘蛛按自己的节奏去讀取，讀取频率和站点整体抓取状况相關。它的優势是一次可以覆盖很多 URL，不用依赖蜘蛛是否刚好爬到某個頁面；缺点是“讀到了”不等于“马上抓”，中間還隔着調度排队，時間不可控。

HTML 内鏈：跟随抓取顺带發現

入口頁被抓取时，蜘蛛會解析頁面里的 a 标簽，把新的 URL 加入待抓队列。這條路径依赖两点：入口頁本身被抓，以及連結在初始 HTML 里真實可见。它不需要額外提交，但發現速度完全取决于入口頁的抓取频率。

哪些情况下某條路會失灵

• sitemap 文件本身返回異常狀態碼，或被 robots.txt 屏蔽，蜘蛛讀不到内容。
• sitemap 里的 URL 和實际可訪問地址不一致，比如大小寫、末尾斜杠、參數不同，讀到了也未必抓得動。
• 入口頁連結由 JavaScript 渲染，蜘蛛拿到的初始 HTML 里没有 a 标簽。
• 入口頁返回 403、404 或跳轉到無關頁面，蜘蛛不會繼續解析連結。
• 連結被 nofollow，或指向被屏蔽的路径，被發現後也可能不跟進。

實操上怎么搭配

1. 先確認入口頁能被正常抓取：返回 200、Content-Type 是 text/html，連結是服務端渲染出来的 a 标簽。
2. 把稳定不變的目标 URL 放進 sitemap 当作兜底，入口頁内鏈负责“新加的那一批”。
3. sitemap 里只放 200 狀態、可被抓取的 URL，別把跳轉鏈、各種參數變体一股脑塞進去。
4. 入口頁每次更新後，對照日誌看蜘蛛下一次訪問的時間，判断這條路径的實际节奏。
5. 如果两條路都走了還是没抓到目标頁，問题多半不在發現环节，要回头查 robots、noindex、服務器响應。

容易被忽略的两個细节

第一，sitemap 有數量和体积限制。大站通常要拆成多個文件並建索引，否則蜘蛛可能只讀到前面一部分。拆分粒度可以參考目錄结构或更新時間，方便後續定位問题。

第二，内鏈的價值不只在發現。同一個目标 URL 從多個入口頁被連結，蜘蛛更容易判断它值得抓；但重复堆叠同一連結、同一锚文本，邊际效果會迅速下降，没必要為了數量硬堆。

常见誤区

• 以為提交 sitemap 就等于完成發現。提交只是告知，抓取和收錄是後面各自獨立的环节。
• 以為入口頁連結越多越好。蜘蛛對單頁的解析和跟進有上限，連結质量比數量重要。
• 發現新連結後立刻換掉 sitemap，让老 URL 失去兜底，出現抓取断层。

小结

sitemap 和 HTML 内鏈是同一個問题的两個半邊：前者覆盖面广、节奏不可控；後者依赖抓取，但胜在自然。把入口頁做干净、連結可解析，再用 sitemap 兜底，是比較省心的组合。真正的瓶颈往往出現在發現之後的抓取與索引环节，那部分要靠頁面内容和站点狀態去解决，換一條發現路径绕不過去。