遇到收錄不理想的情况时，很多人的第一反應是“蜘蛛是不是没来”。但看服務器日誌會發現，抓取請求並不少。問题往往在于：蜘蛛来了，頁面却没给出足够的理由被放進索引。抓取是訪問行為，收錄是评估结果，两件事不能混為一谈。
與其等收錄資料出問题再回头翻查，不如在頁面發布前後先自己過一遍。下面這份清單按四個角度排列，顺序可以按實际情况調整。
一、主体内容是否真的可讀
搜尋引擎需要先從 HTML 里判断這個頁面在讲什么。如果主要内容全靠脚本渲染，或者正文被折叠、被图片替代、被彈窗遮挡，判断成本就會變高。
- 關掉脚本之後，頁面是否還能看到核心文字。
- 正文是否和标题、面包屑、頁面描述對得上，而不是标题党。
- 是否有大段與主题無關的推荐位、广告位挤占了主体区域。
- 内容体量是否和頁面想承担的角色匹配，單薄頁面很难撑起一個獨立地址。
二、是否存在重复或近似重复
重复内容本身不一定带来惩罚，但它會让蜘蛛在多個相似地址之間做選擇，结果可能是其中一個被收錄，另一個長期停留在“已發現”狀態。
- 列表翻頁、篩選參數、排序參數是否生成了大量内容相近的地址。
- 同一篇内容是否同时存在于栏目頁、聚合頁、打印頁、移動版地址。
- 站内搜尋结果的地址是否被開放抓取。
- 模板里的空白栏目、無结果的篩選组合是否也會生成頁面。
處理思路上，先判断這些頁面有没有獨立的检索價值。没有的话，用 canonical 指明主版本，或者直接限制抓取，都比放任积累更清晰。
三、URL 與連結是否規范
URL 层面的混乱常常是收錄問题的放大器。同一個頁面出現大小寫、末尾斜杠、跟踪參數等多種寫法时，連結信号和抓取配額都會被摊薄。
- 站内連結是否统一指向同一個版本，包括導航、面包屑和正文内鏈。
- canonical 指向的地址是否可訪問、是否返回正常狀態碼。
- 站点地图里的地址是否都是可索引的最终地址。
- 分頁頁、篩選頁是否有明确的自我規范策略。
四、有没有技術层面的硬阻碍
這一類問题最直接，排查起来也最快，但很容易被忽略。
- 目标頁面是否被 robots.txt 屏蔽，或者被誤加了 noindex。
- 返回狀態碼是否稳定，有没有出現软 404、跳轉鏈過長。
- 服務器响應時間是否稳定，是否存在大批量超时。
- 重要頁面是否离首頁太遠，只能靠站点地图被發現。
建议的排查顺序
- 先随机抽查若干頁面，確認返回正常狀態碼、内容可讀。
- 再检查该地址是否被 robots.txt 或 meta 标簽限制索引。
- 然後對比站内是否存在内容相近的其他地址，决定是否合並。
- 最後统一内鏈與站点地图里的地址寫法。
收錄不是提交動作的结果，而是頁面本身、連結结构和技術狀態共同作用的结果。自检的意义在于，把能自己確認的部分先確認掉，剩下的再交给時間。