分頁頁面的問题不在“翻頁”,而在内容信号
列表頁翻到第 2、3 頁,URL 變了,内容主体也變了,但模板结构、标题格式、正文区块几乎一样。對搜尋引擎来说,這類頁面處在“像重复頁面”和“有獨立内容”之間的模糊地带。處理不好,要么大量分頁占掉索引名額,要么把本来能带来長尾流量的列表頁挡在门外。
三種常见處理方式及各自代價
- 全部允许抓取和索引:分頁能被搜尋到,長尾列表項有机會直接带来流量。代價是索引里可能堆积大量近似頁面,抓取预算被摊薄,质量评估也被拉低。
- noindex, follow:頁面上的連結仍能被發現和跟踪,但頁面本身不進索引。适合“更多结果”型分頁,不适合每頁都有獨立商品或文章的列表。
- canonical 指向第 1 頁:想让權重集中到第一頁。但如果第 2 頁确實有不同内容,這個信号可能被忽略;用戶也無法從搜尋直接落在第 2 頁。
不要對同一個分頁頁同时用 noindex 和指向首頁的 canonical,两套信号互相抵消,最後是哪個生效取决于搜尋引擎的判断,你很难预期。
先判断第 2 頁有没有獨立检索價值
判断标准可以很直接:第 2 頁上的條目,是否有用戶會用不同的關鍵詞搜到?如果列表項是商品、文章、房源這類有獨立标题和詳情頁的内容,分頁往往保留可索引更合适——用戶搜到的其實是分頁里的某個條目,点進去之後才到詳情頁。反過来,如果翻頁只是同一批结果的不同排序或“查看更多”,頁面本身没有獨立信息,那么把它排除索引通常更干净。
還要看分頁是否带来過自然流量。在流量报表里按落地頁筛出 /page/2/ 這類 URL,有稳定点击就說明有保留價值;長期零点击、又频繁被抓取,就可以考虑收缩。
URL 與規范化要一致
- 同一套分頁只保留一種 URL 寫法。不要既有带 page=2 參數的版本,又有 /page/2/ 的路径版本,两者都會被蜘蛛抓到,形成重复。
- 分頁頁的 canonical 一般自引用,指向自己,而不是第一頁。
- 如果確認要排除索引,用 noindex, follow 即可,不必再把 canonical 指向首頁。
- 分頁之間的連結要真實可爬,從第 1 頁能顺着点到第 2、3 頁,不要只靠按钮或 JS 事件。
無限滚動和“加载更多”要額外注意
如果列表只靠 JS 追加内容,URL 始终不變,那么第 2 頁之後的内容其實都挂在同一個 URL 下。蜘蛛看不到新 URL,也就谈不上單獨收錄;如果渲染不完整,還可能只抓到首屏。更稳的做法是保留可点击的分頁連結,让每一批结果有獨立 URL,再按上面的思路决定哪一批该進索引。
抓取、索引、排名是三件不同的事
允许抓取不等于會被索引,被索引也不等于會有排名。分頁頁即使被抓取,也可能因為内容近似而只保留其中一两個版本;即使被索引,没有搜尋需求也不會有展示。所以調整分頁策略後,可以用站点查询看分頁的收錄量,用服務器日誌看蜘蛛是否還在反复抓取,再對照流量變化,判断這次調整是让索引更干净了,還是誤伤了有流量的頁面。
回到開头的問题:分頁该不该收錄,取决于第 2 頁之後有没有獨立的检索價值。有,就保持自引用規范化並让它可抓可索引;没有,就用 noindex, follow 排除索引,同时保證站内連結鏈完整。不要一邊 noindex 一邊 canonical 指向別處,也不要在同一套分頁里留下多種 URL 寫法。