抓取和收录是两件事
蜘蛛访问日志里出现一个URL，只能说明它被抓取过。抓取是搜索引擎获取页面内容的过程，收录则是内容经过解析、去重、质量评估后，进入索引候选的结果。两者之间隔着好几个处理环节，因此看到蜘蛛来访就认为页面会被收录，容易误判。
更实用的做法，是把抓取频率和收录状态分开记录：一边看日志里哪些URL被访问，一边看索引中最终保留了哪个版本。这样排查时才知道问题出在抓取入口，还是出在URL身份和页面质量上。
URL身份：索引通常要选一个代表版本
同一个页面可能对应多个URL，比如带不带www、http和https、大小写不同、结尾有没有斜杠、是否带跟踪参数。这些URL如果都能访问并返回相似内容，搜索引擎需要判断哪个是代表版本。如果站点没有给出明确信号，索引里可能出现非预期版本，或者把权重分散到多个地址上。
- 同一内容同时存在http和https版本；
- 大小写、尾斜杠、默认端口造成多个可访问地址；
- 站内链接和站点地图提交的URL不一致；
- 筛选、排序、跟踪参数生成大量近似URL。
站点可以做的，是通过内链统一、301重定向、canonical标签和站点地图，尽量把同一内容收敛到一个规范URL上。canonical是提示而非强制指令，所以更重要的是站内链接和重定向也保持一致。
页面质量：索引评估会看哪些方面
抓取之后，搜索引擎还会判断页面是否值得进入索引。这个判断没有公开的固定分数，但站点可以从几个方向自检：正文是否能在初始HTML中读到、标题与主要内容是否一致、页面是否围绕一个明确主题、有没有大量模板或广告干扰阅读。
- 正文直接出现在HTML中，不依赖交互后才加载；
- 标题、描述与正文主题匹配，不堆砌无关词；
- 页面有独立价值，不是其他页面的简单拼接；
- 主要内容可读，不被弹窗或占位内容遮挡。
收录更像一种筛选结果，而不是对页面存在的确认。站点能做的是让页面具备被索引的条件，不能替搜索引擎做决定。
重复内容：不止复制粘贴
重复内容不一定来自搬运。模板、参数、分页、聚合页和多地区版本，都可能产生大量近似页面。比如列表页和详情页模板太像，筛选参数生成无数组合，分页把同一列表切成很多页，这些都会让搜索引擎消耗时间判断哪个版本更值得保留。
处理时可以先给每类页面确定一个代表URL：详情页保留内容最完整的版本；参数页按业务需要决定是否可索引；分页页明确是列表的延续还是独立页面；多语言或多地区版本用hreflang或canonical说明相互关系。目标不是让所有URL都进索引，而是让值得进索引的URL有清晰身份。
从抓取到索引的核对顺序
- 先确认URL能被抓取：检查robots.txt、noindex、状态码和服务器响应。
- 再确认URL身份：检查canonical、重定向、参数、大小写和尾斜杠是否指向同一版本。
- 确认内容可读：正文是否在初始HTML中，标题与内容是否一致。
- 确认重复关系：近似页面之间有没有明确代表版本。
- 最后观察索引状态：把日志、站点地图和索引查询结果对照，不只看访问次数。
这个顺序能帮你分辨问题在抓取、URL处理还是质量评估，而不是盲目反复提交或增加外链。抓取是入口，收录是结果，中间每一步都有站点可以核对的地方。