分頁頁面的收錄問题,通常不是“能不能被收錄”這么简單,而是要不要收錄、收錄哪几頁、翻頁结构會不會把抓取引到同一個地方。列表頁、频道頁、标簽頁往往都带着翻頁,结构相似、内容高度重叠,處理方式不同,站点在索引里的表現會差很多。
先分清列表頁和内容頁的角色
列表頁的價值在于分發:把抓取带到詳情頁,也给用戶一個可浏览的入口。它本身通常不是搜尋需求的主要承接頁。如果列表頁有稳定的主题词,比如某個分類下的全部内容,可以保留收錄;如果它只是為了翻頁而存在,那它的作用更接近導航。
判断方式很简單:這一頁單獨被搜到,用戶會不會觉得有用。會,就按可收錄頁面来维護;不會,就让它承担分發任務,不必强求進索引。
翻頁 URL 常见的几種寫法
- 路径式:/list/2/、/list/page/3/,结构清晰,容易收敛也容易做規范。
- 參數式:?page=2、?paged=3,規則简單,但容易和篩選、排序參數混在一起。
- 锚点或按钮加载:URL 不變,靠脚本追加内容,抓取端拿到的可能只有第一頁。
寫法本身没有绝對優劣,關键是同一批頁面里保持一種,翻頁連結保持稳定。參數式如果同时带篩選條件,容易组合出大量 URL,這时要先确定哪些组合值得保留。
重复内容主要来自哪里
翻頁頁面之間往往共享头部、侧栏、推荐位,列表内容也大量重复。搜尋引擎會做相似度判断,可能只保留其中一两頁,或者選一個它認為更合适的版本作為規范頁。這不是惩罚,但你期望被收錄的那一頁可能就不在索引里。
比較常见的来源有:
- 第一頁和 /page/1/ 同时存在,内容完全一样。
- 篩選參數组合出几十個 URL,指向同一批内容。
- 末頁内容很少,和前几頁差別不大,只是條數更少。
- 排序參數生成重复頁面,例如按價格、按時間各来一份。
處理顺序可以這样安排
先收敛 URL:第一頁只保留一個地址,翻頁使用稳定規律;篩選參數如果對用戶有用就保留,但限制组合范围,比如只允许單條件篩選,不做多條件自由叠加。
再處理重复:第一頁可自指規范,翻頁的規范一般指向自身,而不是统一指回第一頁,否則等于告诉搜尋引擎不要收錄翻頁。如果整组翻頁價值确實不高,也可以對翻頁加 noindex、保留跟随,让連結仍然可以被發現。
最後處理末頁和無结果頁:末頁可以保留,但不要让它成為唯一入口;篩選後没有内容的頁面,與其返回一個空白的 200 頁面,不如给出提示並明确不让它進入索引。
翻頁不需要全部進索引,但需要全部可抓取,站内連結才能把蜘蛛带到詳情頁。
观察與驗證
整理完结构後,可以只把列表首頁和重要分類頁放進站点地图,观察翻頁是否通過内鏈被抓取。再看日誌里翻頁 URL 的抓取频次和狀態碼,如果大量翻頁几乎不被訪問,通常是入口太深,或者連結的可抓取性被削弱了。
索引里如果只留下第一頁,也不用急着改。先確認那是搜尋引擎自己的選擇,還是你的規范設定把它指向了別處,這两者的處理方式完全不一样。