做站点运营时经常遇到一种情况:页面已经上线,链接也放出去了,但在搜索里怎么都查不到。除了发现路径和抓取环节,还有一个更基础的原因——页面本身提供的信息太少,搜索引擎没有理由为它单独保留一条索引记录。收录不是发出来就该有的结果,页面质量会直接影响这个判断。
被抓到,不等于进了索引
蜘蛛访问一个 URL,只是把内容取回去。取回去之后,系统还要判断这个地址是否值得单独占一条索引:它和站内其他页面重复吗?它有独立的检索价值吗?如果答案是否定的,页面可能被抓取过、出现在日志里,但不会进入索引。
哪些页面容易被当成薄内容
- 只有一行标题加一两句描述,正文几乎不构成信息量。
- 模板高度相同、只有几个词不同的批量页面,比如按地区或型号生成的地址。
- 空状态页和暂无结果页:筛选条件没命中、分类下没有内容时留下的地址。
- 正文靠拼接字段生成,字段缺失时页面几乎是空的。
- 同一内容在多个栏目下各有一份,每份都不完整。
三种处理方式,按页面的实际用途来选
- 合并。如果几个页面讲的是同一件事,把内容并到一个地址上,其余地址做 301。这样既减少重复,也让保留下来的那个页面信息更完整。
- 补内容。如果页面本身有存在的意义,就补上用户真正会看的东西:规格、价格区间、适用场景、常见问题。注意是补充有用的信息,不是把同样的文字换个说法重复几遍。
- 加 noindex 但保留链接。有些页面对用户有价值,对搜索没价值,比如站内搜索结果页、临时活动页。这种情况下可以让人点得进去,同时用 noindex 告诉搜索引擎不必收录。要避免同时用 robots.txt 禁止抓取,否则 noindex 读不到,反而可能留下一条没有描述的索引记录。
- 先观察再动手。不确定的时候,先看它有没有自然流量、有没有外部链接指向它,再做决定,不必急着批量删除。
判断薄不薄,先问自己三个问题
- 这个页面能不能回答一个具体问题?
- 把它从站点里去掉,用户会不会找不到需要的东西?
- 站内是不是已经有另一个地址在回答同一件事?
薄内容指的不是字数少,而是信息增量小。一段三百字但说清了操作步骤的说明,往往比一篇拼凑出来的两千字更有价值。
怎么验证处理是否有效
改完之后不要只看一两天。可以在服务器日志里观察这些地址的访问频次有没有下降,在搜索控制台看已排除页面的数量变化,也可以针对保留下来的页面观察一段时间内的展现数据。索引状态的更新通常有滞后,短期的波动不必过度解读。
批量处理时的顺序
如果站点里薄页面数量很大,先按类型归类,再挑数量最多的一两类处理,比逐个页面修改更现实。处理完之后记得同步更新内链和 sitemap,避免还在向搜索引擎推荐已经决定不收录的地址,那样只会让抓取资源继续花在不必要的地方。