在站点运营中，一個经常被忽略的细节是www與裸域（非www）未被统一。许多網站預設两種地址都能訪問，但搜尋蜘蛛會把它們当成两個不同的主机来處理。這意味着原本同一個頁面，却出現了两套不同的URL，蜘蛛抓取路径随之分裂。這種割裂狀態會直接影响URL發現的质量與效率，值得每個站点認真對待。

域名變体為何干扰URL發現

搜尋蜘蛛的URL發現行為首先建立在主机名之上。当蜘蛛通過外鏈或sitemap同时遇到example.com和www.example.com时，它會認為這是两個獨立的站点，分別為它們建立抓取队列。随着時間推移，两套版本都會被抓取、索引，造成以下問题：

• 抓取预算被稀释：相同的頁面内容被反复抓取两次，消耗了有限的抓取配額。
• 權重分散：站内連結自然分散在两套URL之間，原本應该集中的排名信号被割裂。
• 重复判断困惑：虽然蜘蛛可能根據内容相似度意识到這是重复，但處理過程依然增加計算開销，且容易造成關键頁面未被優先發現。

本质上，這是站点在URL發現层面丢失了唯一性。蜘蛛找不到一個明确的“标准地址”，只能自行猜测。

先確認問题是否存在

在動手修复前，可以通過简單步骤確認是否真的存在變体分裂。首先，在浏览器中直接訪問裸域和www版本，观察服務器是否返回了完全不同的頁面（通常内容一样但URL不同）。其次，查看網站内部源碼里内鏈的寫法，是否既有相對路径也有绝對路径，且绝對路径中两種域名混杂。更准确的是，查看站点日誌中蜘蛛訪問的主机名，如果統計到两個主机都出現200狀態碼的抓取，那就說明問题客观存在。

统一域名的關键操作

收敛的前提是選定一個主版本。選擇裸域還是www取决于业務需要，例如CDN、SSL證书配置的便利性，或者品牌标识习惯。一旦确定，就要用强制手段让所有其他版本都導向這個規范地址。

1. 服務端301重定向

這是最根本的措施。在服務器层面配置，將對非主版本的訪問請求以301狀態碼永久重定向到主版本。注意必须是一步跳轉，不要让example.com跳到www.example.com後再跳到別的地址，鏈式重定向會拖累抓取效率。例如選擇了www，則建立規則將所有裸域請求301到對應www地址，並保持路径和參數完整。

2. 内部連結全部使用規范地址

站内所有連結都需要指向主版本。如果使用相對連結，在非主版本頁面中會被解释為目前主机下的相對路径，從而让蜘蛛繼續發現两套URL。因此建议在HTML模板里使用统一的绝對路径，确保頁面上的任何連結都指向規范域名。

3. 使用canonical标簽辅助說明

在每一頁的head区域添加link rel="canonical"，其href指向该頁面的規范URL。這等于向蜘蛛直接声明“本頁的正式版本是這個”。即使蜘蛛從其他入口發現了一個非規范版本，也能通過canonical信号追踪到主版本。

4. 让robots.txt與Sitemap保持一致

robots.txt文件本身應放在主域名下，並在其中通過Disallow規則或Allow逻辑配合，同时Sitemap文件地址也统一使用主版本域名。Sitemap中列出的URL只應包含規范的、不带歧义的地址，這样蜘蛛每次讀取Sitemap都會被引向正确的抓取起点。

运维中的注意事項

域名统一並非一次性操作。切換過程中要密切關注抓取日誌，確認蜘蛛是否在持續訪問非規范版本。若發現某些非規范的舊連結仍被反复抓取，可以临时在非主版本服務器上設定404，避免软200行為。另外，不要只依赖重定向，還要保證站内搜尋、分頁等動態生成的連結同样遵循規范。對外部連結無法控制，但301會自然地传递指引，蜘蛛會根據跳轉来重新建立映射。

收敛域名變体並不是為了直接提升排名，而是帮助搜尋蜘蛛更早、更准地识別你的内容。当URL發現路径變得清晰獨立，抓取预算才能集中在真正需要關注的頁面上。

總之，www與裸域的统一是站点基础建设的一部分。在搜尋蜘蛛的URL發現机制下，一個唯一且稳定的主机名能减少不必要的路径分叉，让站点内部無需為两個身份反复消耗资源。做好這一步，後續的抓取治理會更加顺畅。