很多人排查收录问题，习惯一上来就问是不是没提交 sitemap、是不是蜘蛛根本没来。其实收录是多环节叠加的结果，任何一个环节掉链子，页面都进不了索引。与其东一榔头西一棒子，不如按固定顺序过一次自查，把变量逐个排掉。
先分清三件事：抓取、收录、索引
抓取是爬虫把页面下载下来；收录通常指搜索引擎把这条 URL 纳入自己的数据库；索引则是页面经过解析、去重、质量评估后，真正具备参与搜索展示的资格。三者是递进关系，不是同一件事。日志里看到 200 状态码，只能说明抓取成功，后面的环节还没开始。
区分这一点很重要：如果爬虫根本没来，问题在发现与抓取；如果来了却停在门外，问题多半出在页面本身或站点信号上。
第一步：先看 URL 是否规范
- 同一页面是否只有一种写法，大小写、结尾斜杠、参数顺序是否统一。
- 是否带有多余的跟踪参数、会话 ID、排序参数，导致同一内容出现多条地址。
- URL 中是否混入中文、空格或未正确编码的特殊符号。
- 分页、筛选、排序结果是否被大量放开抓取。
URL 不规范的直接后果，是抓取额度被大量相似地址消耗，真正需要收录的页面反而排不上队。
第二步：判断页面本身值不值得收
内容是否独一份
从别处搬运、只改标题和几段话的页面，即使被抓到也很难进入索引。搜索引擎需要的是能补充信息的内容，而不是同一段话的第 N 个副本。
页面是否有实际主体
只有导航、广告和一句提示语的空壳页，返回 200 也不会被当成有效页面。列表页一旦翻到很后面没有实际条目，同样属于这一类。
是否与用户查询有关联
有些页面内容完整，但主题过于边缘或过于宽泛，搜索引擎判断不出它该服务哪类需求，收录后也很难稳定获得展示。
第三步：处理重复与近似重复
重复不一定是完全照抄，下面几种形态都会稀释页面的独立性：
- 同一商品挂在不同分类下，生成多条 URL，内容几乎一致。
- PC 页与移动页各自独立 URL，且没有互相声明关系。
- 打印版、分享链接、带参数的版本各自成页。
- 正文相同但评论、推荐位不同，被当成不同页面。
处理方式通常是收敛：保留一个主版本，其余通过规范化声明或重定向指向它，并确保内链和 sitemap 都指向主版本。
第四步：检查站点层面的信号
- 内链：重要页面是否从首页或栏目页有可点击入口，而不是只靠 sitemap 列出。
- robots 与 meta：是否误屏蔽了整个目录，或页面上残留了 noindex。
- canonical：是否指向了自己，还是被模板批量指向了别的页面。
- 服务器响应：是否稳定，是否有大量超时、5xx 或不必要的跳转链。
第五步：用数据验证，而不是靠感觉
- 先看服务器日志，确认目标页面到底有没有被访问过，访问频率如何。
- 再看索引状态，区分“已发现未抓取”“已抓取未收录”“已收录”三种情况。
- 抽样几个页面的实际渲染结果，确认爬虫看到的内容和用户看到的一致。
- 对照改动时间，判断是内容问题还是某次配置调整带来的影响。
- 一次只改一个变量，改完留出观察窗口，避免多因素混在一起说不清因果。
收录不是提交动作的终点，而是页面质量、URL 规范与站点信号共同作用的结果。与其反复提交，不如把页面本身的短板补上。
按这个顺序走一遍，多数“为什么没收”的问题都能定位到具体环节。剩下的，就是等爬虫重新评估——这部分急不来，也不该靠堆砌地址去催。