多語言站点通常會用 hreflang 标注告诉搜尋引擎各語言頁面之間的對應關系，同时通過 Sitemap 提交完整 URL 列表。两者配合得好，搜尋蜘蛛能顺藤摸瓜發現各語言版本；一旦出現不一致，抓取入口就可能只集中在預設語言，其他語言頁面長期不被訪問。
hreflang 與 Sitemap 各自负责什么
hreflang 是頁面級信号，它声明“這個頁面還有哪些語言/地区版本”，蜘蛛在抓取目前頁面时能顺着連結或标注去訪問對應 URL。Sitemap 則是站点主動提交的 URL 清單，适合补充内鏈較深或入口不明顯的頁面。两者不是替代關系：Sitemap 提交了，不代表蜘蛛會立即抓取；hreflang 标注了，也不代表對應 URL 一定能被正常訪問。
常见的不一致與抓取問题
hreflang 指向的 URL 不可抓取
如果 hreflang 里的目标 URL 被 robots.txt 屏蔽、返回 404 或 301 到另一個地址，蜘蛛會记錄一次無效跳轉。偶尔出現影响不大，但大量語言版本都指向错誤地址时，抓取會快速消耗在無效路径上，真正的語言頁面反而得不到入口。
Sitemap 只提交預設語言
有些站点 Sitemap 只列主語言 URL，其他語言版本僅靠頁面右上角的切換連結。切換連結若是 JS 触發、站内搜尋跳轉或带有复杂參數，蜘蛛可能無法稳定跟随。此时 URL 發現范围取决于内鏈质量，而不是 Sitemap 的完整程度。
canonical 與 hreflang 互相冲突
常见错誤是每個語言頁面都把 canonical 指向預設語言。這样一来，蜘蛛會認為所有語言版本都應以預設語言為准，其他語言 URL 的抓取優先級自然被压低。canonical 應指向自身語言版本，hreflang 才负责語言間的關联。
排查顺序
- 先看抓取日誌：確認各語言目錄下是否有蜘蛛訪問记錄。如果某語言目錄完全没有請求，優先怀疑入口缺失或被屏蔽。
- 核對 robots.txt：检查是否誤屏蔽了語言子目錄、語言路径參數或 Sitemap 文件本身。
- 抽样检查 hreflang：随机抽取几個頁面，看 hreflang 目标 URL 是否返回 200，是否與目前頁的 canonical 一致。
- 检查 Sitemap 覆盖：確認 Sitemap 是否包含全部語言版本，還是只提交了預設語言。多語言站点可考虑按語言拆分 Sitemap 索引，便于观察抓取覆盖。
- 补内鏈入口：在主導航、頁脚或語言切換器中，使用真實可点击的 a 标簽連結，避免僅依赖 JS 事件或表單跳轉。
修复與维護建议
- 保持 hreflang、canonical、Sitemap 三者指向一致：語言頁面自指 canonical，hreflang 互相回指，Sitemap 包含全部語言 URL。
- 語言切換器尽量輸出标准連結，不要用 onclick 跳轉或空 href。
- 如果使用自動翻译或參數生成語言頁，确保每個語言版本有獨立稳定的 URL，而不是同一 URL 靠 cookie 切換。
- 定期從日誌中按語言目錄統計抓取频次，發現某語言抓取量持續偏低时，優先检查入口和狀態碼。
- 改版或迁移語言目錄时，舊 URL 用 301 指向新語言版本，並更新 hreflang 和 Sitemap 中的地址。
注意：hreflang 和 Sitemap 都是辅助發現信号，不能替代可抓取的内鏈。站点结构清晰、連結可点、狀態碼正常，才是搜尋蜘蛛稳定發現多語言 URL 的基础。
多語言站点的抓取問题往往不是單一原因，而是 hreflang、canonical、Sitemap 和内鏈之間的信号打架。按“日誌—robots—hreflang—Sitemap—内鏈”的顺序逐項排查，通常能較快找到入口變窄的环节，再逐步恢复正常抓取。