分页页面的收录问题,通常不是“能不能被收录”这么简单,而是要不要收录、收录哪几页、翻页结构会不会把抓取引到同一个地方。列表页、频道页、标签页往往都带着翻页,结构相似、内容高度重叠,处理方式不同,站点在索引里的表现会差很多。
先分清列表页和内容页的角色
列表页的价值在于分发:把抓取带到详情页,也给用户一个可浏览的入口。它本身通常不是搜索需求的主要承接页。如果列表页有稳定的主题词,比如某个分类下的全部内容,可以保留收录;如果它只是为了翻页而存在,那它的作用更接近导航。
判断方式很简单:这一页单独被搜到,用户会不会觉得有用。会,就按可收录页面来维护;不会,就让它承担分发任务,不必强求进索引。
翻页 URL 常见的几种写法
- 路径式:/list/2/、/list/page/3/,结构清晰,容易收敛也容易做规范。
- 参数式:?page=2、?paged=3,规则简单,但容易和筛选、排序参数混在一起。
- 锚点或按钮加载:URL 不变,靠脚本追加内容,抓取端拿到的可能只有第一页。
写法本身没有绝对优劣,关键是同一批页面里保持一种,翻页链接保持稳定。参数式如果同时带筛选条件,容易组合出大量 URL,这时要先确定哪些组合值得保留。
重复内容主要来自哪里
翻页页面之间往往共享头部、侧栏、推荐位,列表内容也大量重复。搜索引擎会做相似度判断,可能只保留其中一两页,或者选一个它认为更合适的版本作为规范页。这不是惩罚,但你期望被收录的那一页可能就不在索引里。
比较常见的来源有:
- 第一页和 /page/1/ 同时存在,内容完全一样。
- 筛选参数组合出几十个 URL,指向同一批内容。
- 末页内容很少,和前几页差别不大,只是条数更少。
- 排序参数生成重复页面,例如按价格、按时间各来一份。
处理顺序可以这样安排
先收敛 URL:第一页只保留一个地址,翻页使用稳定规律;筛选参数如果对用户有用就保留,但限制组合范围,比如只允许单条件筛选,不做多条件自由叠加。
再处理重复:第一页可自指规范,翻页的规范一般指向自身,而不是统一指回第一页,否则等于告诉搜索引擎不要收录翻页。如果整组翻页价值确实不高,也可以对翻页加 noindex、保留跟随,让链接仍然可以被发现。
最后处理末页和无结果页:末页可以保留,但不要让它成为唯一入口;筛选后没有内容的页面,与其返回一个空白的 200 页面,不如给出提示并明确不让它进入索引。
翻页不需要全部进索引,但需要全部可抓取,站内链接才能把蜘蛛带到详情页。
观察与验证
整理完结构后,可以只把列表首页和重要分类页放进站点地图,观察翻页是否通过内链被抓取。再看日志里翻页 URL 的抓取频次和状态码,如果大量翻页几乎不被访问,通常是入口太深,或者链接的可抓取性被削弱了。
索引里如果只留下第一页,也不用急着改。先确认那是搜索引擎自己的选择,还是你的规范设置把它指向了别处,这两者的处理方式完全不一样。