很多收录问题不是发布之后才产生的,而是在页面还没上线时就埋下了。常见的情况是:URL 有两个版本、canonical 指错、robots 误封了目录、正文全靠 JS 渲染、页面在站内没有任何入口。这些都会让页面卡在“已发现,尚未抓取”或者“已抓取,尚未编入索引”。与其上线后再回头排查,不如在发布前过一遍清单。
一、先确定 URL 的唯一版本
一个页面只保留一个规范 URL,是后面所有工作的前提。发布前至少确认三件事:
- 大小写、结尾斜杠、参数形式已经定死,站内不再出现第二种写法。
- canonical、内链、sitemap 三处指向的是同一个地址。
- 没有必要的跟踪参数、排序参数,尽量不要出现在可被抓取的链接里。
二、确认页面没有被自己挡住
- robots.txt 里没有误封该目录或该类型的 URL。
- 页面没有残留 meta robots 的 noindex,也没有通过响应头写成 noindex,测试环境带的配置经常会被带上线。
- 返回的是 200,而不是跳转链,也不是内容为空的 200,后者容易被当成软 404。
- 正文不需要登录、不需要点击弹窗、不需要滚动到底才出现。
三、内容主体要能被直接读到
抓取阶段拿到的通常是一份 HTML。如果正文只有空容器,靠前端渲染后才出现,那么索引环节就多了一步,时间也会拉长。发布前可以自己看一眼:打开源码,主要文字能不能找到。
另外要关注与站内其他页面的相似度。模板相同、列表不同、正文几乎一样的页面,容易互相稀释。这类页面在发布前就应考虑合并,或者把差异部分做扎实,而不是先发出去再看收录情况。
四、给蜘蛛一条顺路的入口
URL 被发现的方式不止一种,但成本最低的是站内链接。发布时按顺序处理:
- 从首页或相关栏目页有正常的链接指向它,而不是藏在 JS 事件里。
- sitemap 里的地址与 canonical 一致,且能正常返回。
- 确有需要时再做主动提交,不要把它当成常规手段。
五、发布后的复查节奏
清单只是减少可避免的阻碍,不代表提交了就会被收录。发布后可以按这个节奏看:
- 24 小时内:看是否被访问过,状态码是否正常。
- 几天后:看是否进入已抓取状态,索引状态有没有明确结论。
- 两到四周:如果还长期停在同一个状态,再回头查内容、重复度和入口。
不要每天反复查同一个 URL,也不要因为一两天没有收录就改标题、改结构、改 canonical。频繁变动本身会让蜘蛛对该页面多做几次判断。
收录是抓取、索引、展示三个环节共同的结果。发布前能做的,是把可避免的阻碍清理掉,而不是控制最终结果。
一个可以直接用的顺序
- 统一 URL,确认 canonical、内链、sitemap 口径一致。
- 确认状态码与 robots 配置正常。
- 确认正文在 HTML 里可读,内容不与已有页面高度重复。
- 补上站内入口,再更新 sitemap。
- 发布后按天、按周复查,不要高频改动。
把这几步固定成模板,新页面越多,越能省下反复排查的时间。