很多收錄問题不是發布之後才产生的,而是在頁面還没上线时就埋下了。常见的情况是:URL 有两個版本、canonical 指错、robots 誤封了目錄、正文全靠 JS 渲染、頁面在站内没有任何入口。這些都會让頁面卡在“已發現,尚未抓取”或者“已抓取,尚未编入索引”。與其上线後再回头排查,不如在發布前過一遍清單。
一、先确定 URL 的唯一版本
一個頁面只保留一個規范 URL,是後面所有工作的前提。發布前至少確認三件事:
- 大小寫、结尾斜杠、參數形式已经定死,站内不再出現第二種寫法。
- canonical、内鏈、sitemap 三處指向的是同一個地址。
- 没有必要的跟踪參數、排序參數,尽量不要出現在可被抓取的連結里。
二、確認頁面没有被自己挡住
- robots.txt 里没有誤封该目錄或该類型的 URL。
- 頁面没有残留 meta robots 的 noindex,也没有通過响應头寫成 noindex,測試环境带的配置经常會被带上线。
- 返回的是 200,而不是跳轉鏈,也不是内容為空的 200,後者容易被当成软 404。
- 正文不需要登入、不需要点击彈窗、不需要滚動到底才出現。
三、内容主体要能被直接讀到
抓取阶段拿到的通常是一份 HTML。如果正文只有空容器,靠前端渲染後才出現,那么索引环节就多了一步,時間也會拉長。發布前可以自己看一眼:打開源碼,主要文字能不能找到。
另外要關注與站内其他頁面的相似度。模板相同、列表不同、正文几乎一样的頁面,容易互相稀释。這類頁面在發布前就應考虑合並,或者把差异部分做扎實,而不是先發出去再看收錄情况。
四、给蜘蛛一條顺路的入口
URL 被發現的方式不止一種,但成本最低的是站内連結。發布时按顺序處理:
- 從首頁或相關栏目頁有正常的連結指向它,而不是藏在 JS 事件里。
- sitemap 里的地址與 canonical 一致,且能正常返回。
- 确有需要时再做主動提交,不要把它当成常規手段。
五、發布後的复查节奏
清單只是减少可避免的阻碍,不代表提交了就會被收錄。發布後可以按這個节奏看:
- 24 小时内:看是否被訪問過,狀態碼是否正常。
- 几天後:看是否進入已抓取狀態,索引狀態有没有明确结论。
- 两到四周:如果還長期停在同一個狀態,再回头查内容、重复度和入口。
不要每天反复查同一個 URL,也不要因為一两天没有收錄就改标题、改结构、改 canonical。频繁變動本身會让蜘蛛對该頁面多做几次判断。
收錄是抓取、索引、展示三個环节共同的结果。發布前能做的,是把可避免的阻碍清理掉,而不是控制最终结果。
一個可以直接用的顺序
- 统一 URL,確認 canonical、内鏈、sitemap 口径一致。
- 確認狀態碼與 robots 配置正常。
- 確認正文在 HTML 里可讀,内容不與已有頁面高度重复。
- 补上站内入口,再更新 sitemap。
- 發布後按天、按周复查,不要高频改動。
把這几步固定成模板,新頁面越多,越能省下反复排查的時間。