網站收錄

翻頁 URL 的收錄取舍:分頁頁面哪些该留、哪些该收口

列表頁翻頁、正文分頁、评论分頁和篩選後的翻頁,URL 表現相似,收錄取舍却不一样。本文按四類分頁分別說明判断标准,讲清哪些頁面适合保留在索引中、哪些更适合收口,並對比 noindex 與 canonical 的常见搭配和自查顺序。

網站收錄

翻頁 URL 的收錄取舍:分頁頁面哪些该留、哪些该收口

站内的列表頁翻到第二頁、第三頁之後,地址通常會長出一個頁碼參數。這類頁面算不算重复内容、要不要放進索引,很多站点的處理是含糊的:既没有 noindex,也没有 canonical,蜘蛛顺着翻頁鏈一路往下爬,索引里就多出一堆内容高度相似的 URL。這里只谈分頁頁面的收錄取舍,不涉及篩選、排序那類參數组合。

先分清站内几種分頁

  • 列表分頁:文章列表、商品列表按頁碼切分,第二頁之後的内容基本是前一頁的延續,但條目本身可能不同。
  • 正文分頁:一篇文章被拆成多頁,每頁只有一小段正文,多见于老站或内容平台。
  • 评论分頁:评论区按頁展開,正文只出現在第一頁,後面几頁几乎全是评论。
  • 篩選後的翻頁:先按條件筛,再翻頁,URL 里同时带篩選條件和頁碼,數量最容易失控。

哪些分頁頁面值得進索引

判断标准不是它是第几頁,而是這一頁有没有獨立的、用戶可能直接搜到的價值。

  • 列表分頁里,如果第二頁之後仍有大量未被首頁覆盖的條目,可以保留收錄,但要给每頁寫清唯一的标题和描述,別整组共用一套。
  • 正文分頁、评论分頁基本没有獨立检索價值,通常只保留第一頁進索引,其余頁面對用戶照常可訪問,對索引收口即可。
  • 篩選叠加頁碼产生的组合,數量往往呈倍數增長,一般不建议放開,先想清楚有多少组合真的會被搜尋。

收口手段怎么選,各自有什么副作用

noindex 還是 canonical

對正文分頁、评论分頁,常用做法是给第二頁之後加 noindex, follow:頁面仍可被抓取、連結仍能被跟随,只是不進索引。要注意的是,noindex 頁面如果又被別的頁面 canonical 指向,信号會互相打架,選一種就好。

對内容确實连續、只是被拆開的列表分頁,更常见的做法是让每一頁 canonical 指向自身,同时给翻頁加清晰的可抓取連結。若把第二頁 canonical 指向第一頁,等于告诉搜尋引擎這頁不用留,那么頁面上獨有的條目也會跟着一起消失。

別忽视分頁與主頁面之間的連結

不少站点只在頁面上放一個下一頁,不提供回到第一頁或跳到末頁的入口,蜘蛛只能一頁頁走,深度越爬越遠。适度提供首尾頁與固定步長的跳轉,能让靠後的内容不至于埋在十几頁之後。

自查顺序

  1. 從索引里抽一批带頁碼參數的 URL,看它們進索引的比例和展現情况。
  2. 按上面四類给分頁归類,判断哪些有獨立價值,哪些只是導航延伸。
  3. 检查這些頁面目前的 canonical、noindex、robots 設定是否互相矛盾。
  4. 检查翻頁連結是否可抓取:是普通連結,還是必须点击才加载出来的按钮。
  5. 改動後先看一小批頁面的變化,再决定是否全站铺開。
分頁本身不是問题,問题是它被当成多少條獨立内容来看待。數量判断得越清楚,索引里留下的東西就越接近你希望被搜到的那部分。

最後提醒一句,分頁收口的效果通常不會立刻反映在收錄數上,索引更新本身有延迟,观察周期建议以周為單位,別因為几天没動静就反复改規則,那样反而更难看出哪一步起了作用。