抓取和收录之间，隔着一道“值不值得”的判断
抓取日志里出现某个URL，只能说明搜索引擎知道它存在。至于这个URL最后会不会出现在索引里，还要看搜索引擎对它的判断：这个页面有没有必要单独存在一份。很多站点的收录问题，卡住的地方不在抓取频率，而在这个判断上。
什么是页面的“独立身份”
可以把它理解成一个问题：如果把这个URL从站点里删掉，站内其他页面能不能完全替代它？如果不能，它通常具备独立身份；如果能，它就更像是一个重复版本。判断收录，很多时候就是在判断这件事。
URL层面的身份
同一个页面最好只有一个规范地址。带参数、带跟踪码、大小写混用、末尾斜杠不一致，都会让搜索引擎看到多个看起来很像的URL。这些URL如果都返回正常状态，内容又几乎一样，页面之间得到的信号就会被分散，谁也不够突出。
内容层面的身份
看标题、主体信息、面向的问题是否和其他页面明显不同。如果两个页面只是换了几个词、调换了段落顺序，搜索引擎更可能只选其中一个进入索引，另一个则长期停留在“已发现、未索引”的状态。
几种常见的“身份稀释”情况
- 列表页分页：每一页都是同一批内容的不同排序，但缺少独立的筛选价值。
- 标签页与分类页重叠：标签聚合出来的结果和分类页几乎一致。
- 参数筛选页：颜色、排序、页码组合出大量URL，内容差异很小。
- 多域名或多子域承载同一套内容：常见于测试环境、镜像站、移动端独立域名。
- 同一篇文章被复制到不同栏目下：栏目变了，正文没变。
重复内容不会直接惩罚，但会让选择变模糊
很多站点一听重复内容就紧张。更实际的理解是：当多个页面表达同一件事时，搜索引擎需要从里面挑一个作为代表。它挑谁，站点往往无法完全控制。与其争论哪个版本更好，不如在站点内部就先确定一个规范版本，把链接、内部导航和后续更新都集中到它身上。
一个可执行的自检顺序
- 先看URL：确认页面是否只有一个规范地址，站内链接是否都指向它，其他版本是否做了合理处理。
- 再看内容：把页面和站内最相似的两三个页面放在一起，比较标题、核心信息和它实际解决的问题。
- 然后看站内入口：这个页面有没有被合适的上级页面链接到，还是只能靠站点地图被发现。
- 最后看索引状态：隔一段时间查看它是否进入索引，如果长期没进，再回到前三步找原因。
这个顺序的意义在于，先处理站点自己能控制的部分，再去看搜索引擎给出的结果。反过来做，容易把时间花在反复提交和猜测上。
别把索引状态当成一次性结果
页面进入索引之后，并不代表它会一直留在那里。站点改版、内容大量调整、内部链接结构变化，都可能让某个页面被重新判断。定期抽查重要页面的索引状态，比一次性批量提交更实际，也更容易看出问题出在哪个环节。
抓取是发现，索引是取舍。站点能做的，是让每个希望被索引的页面，都有清楚的理由站在那里。
如果只能记住一句话：先别急着问“怎么让它被收录”，先问“它凭什么被单独收录”。