做站点运营的人常有一種体驗：通過蜘蛛池或站内連結，把一批 URL 送進抓取队列，日誌里訪問记錄很热闹，過一段時間去查索引，真正被收錄的却只有一小部分。原因通常不在“蜘蛛来没来”，而在頁面是否让搜尋引擎觉得值得收、以及该收哪一個。抓取與收錄是两條不同的流程，中間隔着判断层，而重复内容和 URL 規范是最常见的两道坎。
抓取與收錄是两回事
抓取解决的是“能不能拿到内容”，收錄解决的是“要不要放進索引並參與展現”。蜘蛛訪問一次，只說明 URL 被發現並進入了抓取队列；能否收錄，還要看内容质量、是否重复、结构是否清晰、站点整体是否可信。把抓取量当成收錄量，很容易做出错誤判断。
- 抓取：蜘蛛讀取頁面，可能只讀一部分，也可能過几天再来。
- 收錄：搜尋引擎决定把哪個 URL 作為该内容的代表，並建立索引。
- 展現：即使被收錄，也不代表每條相關查询都有排名。
重复内容是收錄路上的减速带
同一份内容如果存在多個可訪問地址，搜尋引擎需要在其中挑選一個作為規范版本。挑選過程會消耗判断成本，结果也未必符合预期；嚴重时，多個地址互相分散權重，谁都难以進入索引。
常见的重复来源
- 带參數 URL：排序、篩選、追踪參數、會话 ID 等生成大量同内容頁面。
- 协议與域名變体：http 與 https、www 與非 www、大小寫混用。
- 路径细节：结尾斜杠、預設首頁與首頁、静態化地址與原始地址並存。
- 功能頁面：打印頁、移動端獨立域名、站内搜尋结果頁、空标簽聚合頁。
URL 規范：告诉搜尋引擎哪個是“正本”
規范化的核心，是让所有等價入口都指向同一個代表地址。常用手段是 301 跳轉與 canonical 标簽，两者可以配合使用，但要注意方向一致。
- canonical 優先指向自身所在頁；只有内容确實重复时，才指向另一個規范地址。
- 避免鏈式 canonical（A 指 B，B 又指 C），也不要把不相關頁面强行合並。
- canonical 地址應與 sitemap、站内連結、301 目标保持一致，减少矛盾信号。
- robots 屏蔽與 canonical 不要互相打架：想收錄就让它可抓取，別用屏蔽去解决重复。
减少重复、提高被收錄概率的實操
- 统一主域名與协议，其余變体全站 301 到唯一版本。
- 篩選、排序、追踪類參數，尽量不让其出現在可抓取連結中；确有需要时做好規范声明。
- 分頁保留可抓取，但每頁给予可区分的内容與标题，規范指向自身，不要全部压到第一頁。
- sitemap 只提交規范 URL，並随内容更新及时维護。
- 控制站内搜尋、标簽聚合、日歷归档等頁面的生成量，避免低價值頁面挤占抓取资源。
- 頁面本身要有獨立信息量，模板、導航、頁脚之外的正文應能被清楚识別。
用資料驗證，而不是凭感觉
處理完規范問题後，可以通過抓取日誌、站点地图的收錄反馈，以及用不同地址做站内搜尋时的返回结果，观察規范頁面是否被選中。對比處理前後的抓取分布，比單看某一天的訪問量更有意义。
收錄是搜尋引擎的判断结果，不是站点可以單方面承诺的目标。运营能做的是减少干扰項，让頁面更容易被正确理解。
当重复内容被收敛、規范地址變得清楚，蜘蛛池或内鏈带来的抓取才更可能轉化為有效收錄。接下来要看的，是頁面内容本身能否回答用戶的問题。