做站点运营时经常遇到一種情况:頁面已经上线,連結也放出去了,但在搜尋里怎么都查不到。除了發現路径和抓取环节,還有一個更基础的原因——頁面本身提供的信息太少,搜尋引擎没有理由為它單獨保留一條索引记錄。收錄不是發出来就该有的结果,頁面质量會直接影响這個判断。
被抓到,不等于進了索引
蜘蛛訪問一個 URL,只是把内容取回去。取回去之後,系統還要判断這個地址是否值得單獨占一條索引:它和站内其他頁面重复吗?它有獨立的检索價值吗?如果答案是否定的,頁面可能被抓取過、出現在日誌里,但不會進入索引。
哪些頁面容易被当成薄内容
- 只有一行标题加一两句描述,正文几乎不构成信息量。
- 模板高度相同、只有几個词不同的批量頁面,比如按地区或型号生成的地址。
- 空狀態頁和暂無结果頁:篩選條件没命中、分類下没有内容时留下的地址。
- 正文靠拼接字段生成,字段缺失时頁面几乎是空的。
- 同一内容在多個栏目下各有一份,每份都不完整。
三種處理方式,按頁面的實际用途来選
- 合並。如果几個頁面讲的是同一件事,把内容並到一個地址上,其余地址做 301。這样既减少重复,也让保留下来的那個頁面信息更完整。
- 补内容。如果頁面本身有存在的意义,就补上用戶真正會看的東西:規格、價格区間、适用场景、常见問题。注意是补充有用的信息,不是把同样的文字換個说法重复几遍。
- 加 noindex 但保留連結。有些頁面對用戶有價值,對搜尋没價值,比如站内搜尋结果頁、临时活動頁。這種情况下可以让人点得進去,同时用 noindex 告诉搜尋引擎不必收錄。要避免同时用 robots.txt 禁止抓取,否則 noindex 讀不到,反而可能留下一條没有描述的索引记錄。
- 先观察再動手。不确定的时候,先看它有没有自然流量、有没有外部連結指向它,再做决定,不必急着批量刪除。
判断薄不薄,先問自己三個問题
- 這個頁面能不能回答一個具体問题?
- 把它從站点里去掉,用戶會不會找不到需要的東西?
- 站内是不是已经有另一個地址在回答同一件事?
薄内容指的不是字數少,而是信息增量小。一段三百字但说清了操作步骤的說明,往往比一篇拼凑出来的两千字更有價值。
怎么驗證處理是否有效
改完之後不要只看一两天。可以在服務器日誌里观察這些地址的訪問频次有没有下降,在搜尋控制台看已排除頁面的數量變化,也可以针對保留下来的頁面观察一段時間内的展現資料。索引狀態的更新通常有滞後,短期的波動不必過度解讀。
批量處理时的顺序
如果站点里薄頁面數量很大,先按類型归類,再挑數量最多的一两類處理,比逐個頁面修改更現實。處理完之後记得同步更新内鏈和 sitemap,避免還在向搜尋引擎推荐已经决定不收錄的地址,那样只會让抓取资源繼續花在不必要的地方。