很多站点都有这样一批页面:URL 层面很深,中间夹着三四层目录,页面本身是几年前做的,内容还算完整,却常年停在“已发现-尚未编入索引”。运营者反复提交 URL,变化不大。这种情况通常不是某个单一原因造成的,而要从外到内一层层核对。
第一步:先确认页面到底有没有可走的抓取路径
搜索引擎发现 URL 和抓取 URL 是两件事。提交或者出现在 sitemap 里,只能说明“被发现”,能不能被排上抓取,还要看这个地址在站内有没有稳定的入口。深层页最典型的问题就是:站内几乎没有任何链接指向它。
- 在站内搜索框或爬虫模拟工具里,看看从首页出发要经过几次点击才能到达这个页面。
- 检查指向它的链接是不是只出现在 sitemap、XML 文件或某个已经失效的旧列表页里。
- 确认链接是普通的 <a href> 还是 JS 点击事件。后者对抓取的帮助有限。
如果从首页到目标页需要五次以上点击,而且中途没有分类页、聚合页做中转,那抓取优先级自然靠后。先补一条能走通的路径,往往比反复提交更有效。
第二步:看一眼抓取预算被什么占住了
一个站点的抓取配额是有限的。如果站内同时存在大量参数组合页、搜索结果页、日历翻页、空列表,抓取资源会被这些低价值地址吃掉,深层老页面只能排在后面。
可以用服务器日志按目录统计一下抓取次数分布。常见的情况是,少数几个目录吸走了大半抓取量,而你想推的那批页面,几个月才被访问一次。这时候要做的不是催抓取,而是先堵住无意义的抓取消耗。
第三步:核对这批页面本身值不值得收录
深层老页面里混着几种不同的东西,需要分开看:
- 有独立价值的页面:讲的是具体问题,能独立回答一个查询,和站内其他页面不重复。这类值得补内链、理顺路径。
- 内容稀薄的页面:只有几行说明、一张图,或者正文主要是模板字段拼接。这类即使收录了也很难获得展示。
- 已经被新页面替代的旧页面:内容过时,新版本已经在另一个 URL 上。这时候要考虑的是合并或重定向,而不是硬推收录。
把这几类分开,处理方式完全不同。对第二、三类页面强行优化,收益很小,反而会继续占用抓取预算。
第四步:检查规范信号是否互相打架
深层页最容易出现的规范问题是:同一内容存在多个地址,而 canonical、内链、sitemap 三处的指向不一致。例如页面上 canonical 指向自己,但内链都指向旧地址,sitemap 里又只写了新地址。这种矛盾会让搜索引擎在几个候选之间犹豫,收录自然慢。
核对规范信号时,优先看这三处是否指向同一个 URL:页面 head 里的 canonical、站内主要内链、sitemap 条目。三者不一致时,先统一,再谈推动收录。
第五步:如果确实不值得留,就让它退出
有些深层页面做出来只是历史遗留,业务上早已不用。与其花力气让它进索引,不如让它安静地离开:
- 内容已被新页面覆盖的,用 301 指向新地址,并在 sitemap 里移除。
- 没有替代内容的,返回 410 或 404,同时清理站内入口链接。
- 只对特定人群可见的旧页面,加 noindex 并去掉内链。
索引里少一批没用的地址,剩下的页面反而更容易被稳定抓取。
一个实操上的顺序建议
综合下来,处理深层老页面时可以按这个顺序走:先看有没有可达的内链路径,再看抓取预算是否被别处占住,然后判断页面本身的价值,接着统一规范信号,最后决定是推收录还是做收敛。整个过程不必一次做完,但顺序尽量不要颠倒——先推收录、后补内链,通常事倍功半。
需要提醒的是,即使以上都做对了,收录时机仍由搜索引擎决定,我们能控制的是把路径打通、把噪音降下来,让页面处在一个更容易被抓取和被选择的位置上。