抓取和收錄之間，隔着一层判断
搜尋蜘蛛訪問頁面、返回 200，只能說明這次抓取完成了。頁面要不要進入索引，是另一套判断。索引系統會看内容是否獨立、是否重复、對用戶有没有價值，也會考虑站点整体质量和抓取预算。所以“日誌里有蜘蛛”和“索引里有這個 URL”不能划等号。
当抓取正常、收錄却停在原地时，先別急着加内鏈或反复提交。更常见的問题是：頁面本身處在“可抓可不收”的位置。
第一類：頁面没有獨立價值
有些頁面能打開，标题也不空，但用戶從搜尋進来後得不到完整答案。常见形態包括：
- 只有一句话的标簽頁、作者頁；
- 把其他頁面内容拼接起来的聚合頁；
- 參數篩選後只剩少量结果的列表頁；
- 需要登入、点击或滚動才出現正文的頁面。
這類頁面不是错誤頁，但缺少獨立信息。索引系統倾向于不收，或者先收後撤。判断方法很简單：如果這個 URL 從索引里消失，用戶會不會损失一個重要入口？如果不會，它大概率不属于優先收錄對象。
第二類：同一内容有多個 URL 版本
重复内容是“抓了不收”的另一個常见来源。蜘蛛可能把多個版本都抓了一遍，但索引只會選擇其中一個，其余版本停在不收錄狀態。需要检查：
- 大小寫、末尾斜杠、www 與非 www 是否都能訪問同一内容；
- 带參數 URL 和干净 URL 是否同时存在；
- 分頁、排序、追踪參數是否生成了大量可抓取地址；
- canonical 是否指向自己或真正的主版本。
收口重复版本时，優先用 301 把舊地址指向主版本；不能跳轉的，再用 canonical 声明。两者都指向同一個明确地址，索引才有机會把權重和收錄集中起来。
第三類：抓取预算被低质 URL 占用
如果站内存在大量低质頁面，蜘蛛可能會把時間花在這些地址上，新頁面和重要頁面的抓取频率反而下降。表現是：日誌里抓取量不小，但收錄不涨。此时要先看抓取分布，而不是只看總數。
抓取量高不等于抓得對。把低质頁面挡在外面，往往比繼續加内鏈更有效。
處理方式可以分步：先判断頁面是否真的不需要收錄；確認不需要後，用 robots.txt 阻止抓取，或對已收錄頁面用 noindex。注意不要對重要頁面誤操作。
排查顺序：先判断，再收口，最後調整
- 判断頁面價值：這個 URL 有没有獨立内容？用戶從搜尋進来能否直接使用？
- 检查重复版本：同一内容是否存在多個可訪問 URL？能否 301 或 canonical 收口？
- 查看抓取分布：日誌里蜘蛛抓的是哪些頁面？低质 URL 占比高不高？
- 調整入口：把内鏈指向主版本，把低质頁面移出站点地图，必要时再屏蔽或 noindex。
- 观察索引狀態：用站点查询和 URL 检查工具交叉看，但別只盯一個數字。
收錄是结果，不是單獨的動作
頁面能不能進索引，最终取决于它是否值得被搜尋用戶看到。抓取正常只是前提，URL 規范、内容獨立、重复版本收口，才是推動收錄的日常動作。先修頁面，再谈提交和等待，顺序反了，動作再多也容易停在原地。