很多站点运营把“收錄量”当成绩單，頁面一多就希望全部被索引。但搜尋引擎的抓取和索引资源有限，低價值頁面進入索引後，反而可能拉低整站质量判断。更實际的做法是先给頁面做收錄價值分层，再决定放行、观察還是收敛。
抓取與收錄不是一回事
蜘蛛抓取只說明 URL 被訪問過，收錄則意味着頁面经過质量與重复度判断後進入索引。抓取正常但未收錄，常见原因不是“蜘蛛没来”，而是頁面在索引层被筛掉。因此做收錄管理时，不能只看抓取日誌，還要看 URL 類型和頁面價值。
三层收錄價值
核心頁：應当放行
核心頁是用戶搜尋後真正需要落地的那批頁面，比如产品詳情、文章正文、分類主入口。判断标准：有獨立内容、能满足明确需求、URL 稳定、内鏈有入口。這類頁面應保持可抓取、可索引，canonical 指向自身，並确保移動端和 PC 端使用同一套 URL。
辅助頁：可以观察
辅助頁包括篩選頁、标簽頁、分頁、作者頁、归档頁等。它們可能带来額外入口，也可能只是重复内容的另一種排列。處理方式不是一刀切，先看是否有搜尋需求、是否有獨立信息增量、是否與主頁面高度重复。有增量就保留並規范 URL，没有增量就考虑 noindex 或收敛。
碎片頁：優先收敛
碎片頁通常由參數、排序、會话 ID、站内搜尋、空结果頁产生，數量可能遠超核心頁。它們對收錄几乎没有正向價值，却會消耗抓取配額。處理顺序：先阻断站内搜尋和會话參數，再對排序、篩選參數做規范化，最後检查是否還有大量無入口的孤岛 URL。
判断时看哪几個信号
- 内容增量：頁面是否有獨立正文，還是只是列表或模板拼接。
- 重复程度：标题、摘要、正文是否與站内其他 URL 高度相似。
- URL 規范：是否存在大小寫、參數、尾斜杠等多個變体。
- 内鏈入口：是否有来自核心頁的稳定連結，還是只能靠 sitemap 提交。
- 搜尋需求：用戶是否可能直接搜尋该頁面主题，還是只是站内路径。
處理顺序：先收敛，再谈提交
- 先列出站点主要 URL 類型，按目錄和參數分组統計。
- 把核心頁、辅助頁、碎片頁分別标记，不要混在一起看收錄率。
- 對碎片頁先做抓取层拦截，再處理索引层信号。
- 對辅助頁做小范围測試，观察是否有搜尋展現，再决定放行還是 noindex。
- 最後把稳定放行的核心頁放進 sitemap，並保持内鏈可達。
收錄不是越多越好，而是让该被索引的頁面稳定進入索引，让不该進入的頁面在抓取或索引层就被收敛掉。
常见誤区
一個誤区是把“提交 sitemap”当成收錄動作，提交只是告知，不保證進入索引。另一個誤区是只盯着收錄數字，不区分 URL 類型，结果核心頁没收錄，碎片頁却大量進入索引。還有一種情况是核心頁和辅助頁内容重复，搜尋引擎選擇了辅助頁作為主版本，核心頁反而被替換。遇到這類問题，先检查 canonical 和内鏈是否指向了正确版本。
收錄管理更像是做减法。把頁面按價值分层，持續收敛低價值 URL，核心頁的抓取和索引才會更稳定。判断标准可以随业務調整，但“先分层、再放行”的顺序不要反過来。