站上总有一批页面,字数不多、信息也单薄:商品详情只有一行参数,问答只有一个问题,标签页只堆了一串链接,筛选页则是同一批商品换个顺序。这些页面要不要留、要不要让搜索引擎收录,凭感觉很难拍板。更稳妥的做法是先分清两件事:这个页面有没有独立存在的价值,以及它占用的抓取和索引位置值不值得。
先分清薄内容的几种来源
不同来源的薄页面,处理方式并不一样,混在一起判断容易误伤。
- 空或半空页面:栏目下只有两三个条目,列表页照样自动生成,标题和描述几乎一样。
- 模板重复页:同一套模板套出的问答、词条、城市分站,正文只换了一个词。
- 标签与聚合页:按标签、作者、时间组合出的列表,内容与主分类页大面积重叠。
- 筛选参数页:颜色、价格、排序随意组合,能生成成百上千条 URL。
- 摘要型页面:只放了正文前一两段,完整内容要点进去才能看到。
判断去留,看三件事
1. 是否回答了别的页面没回答的问题
一个标签页如果有明确的搜索意图支撑,比如用户确实会按这个标签找内容,那它就算内容少,也有独立价值。反过来,只是系统按规则拼出来的组合,用户既不会搜,也不会从站内点进来,那它存在的意义就只剩「多了一个 URL」。
2. 是否有稳定的站内入口和真实访问
看一下搜索日志和站内搜索词:这些薄页面有没有被真实用户访问、有没有被其他页面正常链接。完全没有入口、只能靠站点地图暴露的页面,通常属于站点结构里的边角料。
3. 数量是否可控
几十个薄页面和几万个薄页面,性质完全不同。数量一旦上去,抓取额度会被大量低价值 URL 吃掉,真正需要被发现的详情页反而排到后面。这也是「抓取不等于收录」最直观的体现:蜘蛛来了、抓了,但页面因为质量或重复问题进不了索引,额度却是实打实花掉的。
处理顺序:先补、再合、最后才是 noindex 和删除
- 补内容:把参数、规格、常见问题、使用场景补齐。能靠补内容救回来的页面,优先救,因为它的 URL 和已有链接都还留着。
- 合并:语义重复的标签页、城市页,合并到主分类或主页面,用 301 把权重和入口集中过去。
- 收口参数页:有搜索价值的筛选组合保留,canonical 指向主列表;纯排序、纯追踪参数的组合,做 noindex 或直接在 robots 之外用规则收敛。
- 删除:只有前几步都不成立、页面对用户也确实没用时才删。删除要配 301 指向最近的替代页,确实没有替代内容的用 410。
noindex 与 robots.txt 的先后顺序
想让页面退出索引,要用 noindex。robots.txt 只挡抓取,挡不住已经被索引的 URL 继续出现在结果里。正确顺序是先把 noindex 加上、确认搜索端能读到,等页面从索引中消失之后,再考虑要不要在 robots 里屏蔽。顺序反过来做,搜索端读不到 noindex,页面会在索引里挂很久,而抓取又被挡住,想改都改不动。
决定保留的薄页面,也要管住抓取
如果判断下来页面值得留,但短期内补不上内容,可以做两件事:一是收紧内链,别让每一页都从导航、热门推荐里反复出现;二是在站点地图里控制提交范围,只提交有真实价值的 URL。这样既能保住页面,又不会让它持续分摊抓取额度。
薄内容不是一刀切要删的东西,而是一个需要排序的问题:值不值得留、能不能补、补不上要不要收口。按这个顺序走,比直接批量 noindex 稳妥得多。