排查收錄时，很多人盯着内容质量、内鏈和外鏈，却忽略了一個更靠前的問题：頁面從一開始就没被允许進入索引。robots.txt 和 noindex 是两道位置不同的闸门，管的事情不一样，一旦被当成同一個開關用，就容易出現该收錄的進不来、想清掉的又清不掉。
先分清两個開關分別管哪一步
搜尋蜘蛛處理一個 URL，大致會经過發現、抓取、讀取内容、判断是否编入索引這几步，這两道闸门卡在不同环节。
- robots.txt 作用在抓取环节，告诉蜘蛛哪些路径不要来抓，属于請求层面的限制。被 Disallow 的 URL 仍可能因為外鏈或歷史记錄出現在索引里，只是抓不到最新内容。
- noindex（meta robots 或 X-Robots-Tag）作用在索引环节，要求蜘蛛先抓取頁面、讀到這條指令，再把頁面排除在索引之外。
關键差异就在這里：noindex 要生效，頁面必须先被抓取到。如果同时用 robots.txt 挡住了抓取，noindex 就永遠传達不出去。
几種常见的自己挡自己
1. 用 robots.txt 屏蔽目錄来做去重
有些站点為了减少重复内容，直接把參數頁、篩選頁所在目錄整段 Disallow。结果是這些 URL 抓不到，頁面上的 canonical 和 noindex 也讀不到，索引里的舊版本反而更难清理。想把頁面排除出索引應该用 noindex，robots.txt 更适合挡那些抓了也没用、還占用抓取预算的路径。
2. noindex 和 robots.txt 同时加在同一個頁面
典型情形是開發阶段给測試頁加了 noindex，上线前又在 robots.txt 里把整個目錄挡住，以為是双保險。實际效果是蜘蛛進不来，noindex 讀不到。如果這些 URL 之前被收錄過或有過外鏈，它們可能長期留在索引里，只是停留在舊快照。
3. 响應头里的 X-Robots-Tag 被忽略
非 HTML 资源没法寫 meta 标簽，排除索引要靠 X-Robots-Tag 响應头。有些服務器或 CDN 配置會顺手带上它，平时没人注意。排查时除了看頁面源碼，也要看一眼响應头。
4. 上线後忘了改回 robots.txt
预發布环境常见 Disallow: /，切換正式域名时若沿用同一份配置，整站會被挡在抓取之外。這種情况在日誌里表現為蜘蛛几乎不来，容易被誤判成被惩罚。
排查顺序建议
- 確認目标 URL 是否在 robots.txt 允许范围内，注意通配符和目錄寫法，別被一條顺手加上的規則意外覆盖。
- 看實际返回的 HTML，確認 meta robots 的真實取值，是 noindex 還是 none，有没有被模板條件拼错。
- 检查 HTTP 响應头里的 X-Robots-Tag，尤其是 PDF、图片這類资源。
- 確認两處没有互相打架：需要收錄的頁面，robots.txt 放行、頁面不含 noindex；需要排除索引的頁面，允许抓取、只加 noindex。
處理原則可以简單记成两句话
不想让它出現在搜尋结果里，用 noindex；不想让它被抓，用 robots.txt。要删索引就別挡抓取。
另外要注意，去掉 noindex 後索引不會立刻恢复，需要重新抓取和评估，這個過程有延迟。改完配置後，可以通過站点地图、内鏈或手動提交的方式推動蜘蛛重新訪問，然後按天观察，而不是改完就守着看。
收錄問题的排查顺序，通常是從能不能抓，到抓到了看到什么，再到看完要不要收。robots.txt 和 noindex 属于前两步，先把這两道闸门核對清楚，後面的内容质量、内鏈和 URL 規范才有讨论的意义。