收錄數量下降或者索引膨胀时,很多人第一反應是去改 robots。實际上更常见的問题是站内存在大量内容單薄、彼此高度相似的頁面。這類頁面即使被收錄,也很难带来有效訪問,還會占用抓取和索引资源。
薄内容不等于字數少
判断頁面是否“薄”,看的不是字數,而是它在站内是否承担獨立的信息價值。一篇 300 字的說明,如果能完整回答一個具体問题,就不算薄;而 2000 字的拼凑文章,如果只是把別處的话換個说法,依然属于低價值頁面。
常见的薄内容頁面包括:
- 只列出名稱和參數、没有任何說明和差异對比的商品頁
- 由篩選條件或參數组合生成的列表頁
- 把同一篇内容硬拆成多頁的翻頁文章
- 只有标题和一两句话的标簽頁、作者頁、日期归档頁
- 由采集或改寫批量生成、内容彼此重复的頁面
先判断:這個頁面有没有獨立價值
動手修改之前,先把候選 URL 拉出来,逐條問几個問题。
- 這條 URL 是否有人會主動搜尋,或者用戶确實需要它?
- 頁面上的信息是否在站内其他頁面里已经完整出現過?
- 如果把這條頁面删掉,用戶還能不能完成同样的任務?
- 它是否有外部連結或站内連結指向?
如果前三個問题里有两個答案是否定的,第四個問题也没有,那么這條頁面基本可以進入處理清單。
三種常见處理方式
扩充:把頁面做成真正有用的那一版
适用于主题本身有搜尋需求、只是目前内容不够的頁面。补充具体信息,例如參數差异、使用场景、常见問题、資料表。扩充的重点是把“別人也能寫的话”換成只有你能寫的内容,比如實际測試记錄、售後经驗、常见故障的處理過程。
合並:把分散的内容聚到一條主 URL
适用于同一主题被拆成多個相似頁面的情况。做法是選一條主 URL,把其余頁面里有效的内容並入,然後让舊地址 301 指向主地址。合並後要更新站内指向舊地址的連結,並確認站点地图里不再提交舊地址。
noindex 或刪除:让它不必出現在索引里
對于确實没有獨立價值、又需要保留给特定用戶訪問的頁面,例如内部篩選结果、登入後才能看到的内容,可以用 noindex 阻止收錄。對于完全無用的頁面,直接刪除並返回 404 或 410 更干净。要注意:加了 noindex 的頁面就不應再出現在站点地图里,两個信号不要互相矛盾。
處理顺序:先集中,再清理
- 先處理重复度最高、數量最大的一類,例如參數组合生成的列表頁
- 再處理有搜尋需求但内容不足的頁面,逐步扩充
- 最後處理零散的長尾低價值頁面,合並或加 noindex
- 每一步之後留出观察期,再看抓取和索引資料的變化
一次改太多會让資料难以归因。分批處理、记錄每一批涉及的 URL,後續排查时才能對得上号。
處理之後看什么
观察期通常需要几周。可以關注這几件事:這些 URL 是否從索引中逐步登出,站内有效頁面的抓取频次有没有變化,日誌里是否還有蜘蛛反复訪問已经 noindex 的地址。如果舊地址仍然被频繁訪問,先检查站内連結和站点地图是不是還在指向它們。
以上方法只是减少低價值頁面占用资源,不能保證某條 URL 被收錄,也不代表處理之後排名就會提升。
收錄是结果,不是目标。把頁面质量整理清楚,再谈索引數量的多少才有意义。