很多網站运营把收錄問题归因于提交次數、蜘蛛池規模或外鏈數量，但爬虫抓取只是第一道關。頁面被抓取之後，搜尋引擎還要判断它是否值得進入索引、以什么形式展現。這個阶段，頁面质量、重复程度和 URL 規范會直接影响结果。
抓取與收錄是两件事
抓取是爬虫下载頁面内容，收錄是索引系統决定是否把该 URL 作為可检索结果儲存。服務器返回 200 只說明頁面可以訪問，不代表它會被收錄。一個内容空洞、與其他頁面高度相似、或者没有站内入口的 URL，即使被抓取多次，也可能長期停留在“已發現”或“已抓取，尚未编入索引”。
所以排查收錄时，不要只盯着抓取频次。先確認頁面是否具备被索引的基本條件，再去看抓取和提交動作。
頁面质量不是主观打分，而是可检查項
“内容好不好”听起来很主观，但從收錄角度看，可以拆成几個相對客观的检查点。
内容完整度
頁面主体是否完整加载，正文是否只有标题、几句占位文字，或者關键信息藏在图片、脚本里。如果用戶和爬虫看到的都是空壳，索引系統很难判断頁面價值。
頁面唯一性
同一内容是否以多個 URL 存在，比如带追踪參數、大小寫不同、打印版本、篩選排序结果。重复内容不一定被惩罚，但會让搜尋引擎难以選擇規范版本，也可能稀释入口和權重。
站内角色
頁面是否從導航、列表或正文連結可達。完全孤立的頁面即使提交過，也更难被持續抓取和评估。层級過深、入口過少，同样會影响發現效率。
重复内容的三種常见来源
- 完全重复：同一頁面通過不同參數、协议、大小寫或尾斜杠訪問，内容一模一样。
- 近似重复：篩選頁、排序頁、分頁列表之間只有少量差异，大量内容重叠。
- 模板重复：空结果頁、薄聚合頁、批量生成的地区頁，主体内容由模板填充，缺少獨立信息。
處理重复内容时，先明确目的：是想让某個版本被收錄，還是想让變体登出索引。前者用 canonical 或 301 指向規范 URL，後者可以用 noindex 或合並内容。不要一邊保留大量相似頁面，一邊期待每個都获得收錄。
URL 規范要落到日常操作
URL 規范不只是技術配置，也体現在站内連結和提交习惯上。内鏈尽量统一使用規范版本，sitemap 只放希望被索引的 URL，避免同一路径在站内出現多種寫法。對于參數頁，可以按追踪、篩選、會话三類分別處理：追踪參數尽量在服務端或前端去掉，篩選參數只保留有搜尋需求的组合，會话參數不要出現在可抓取連結里。
一個可执行的自查顺序
- 確認目标 URL 返回正常，正文内容完整可见。
- 检查是否有 noindex、canonical 指向其他頁面，或 robots.txt 誤挡。
- 查看站内是否有稳定入口，是否孤岛頁面。
- 對比相似頁面，判断是保留、合並還是設定規范版本。
- 改善後观察抓取日誌和索引狀態，给一定周期，不要频繁改動。
收錄不是提交奖励，抓取也不是收錄。頁面质量、重复度和 URL 規范共同决定索引系統是否愿意保留這個 URL。
如果你正在處理一批長期不收錄的頁面，可以先把它們按“内容空壳、重复變体、缺少入口”分類，再分別處理。比起反复提交，先把頁面本身變成值得索引的版本，通常更有效。