主動提交接口常被当成「让蜘蛛马上来」的開關,但它的本质只是把一個 URL 從「未知」變成「已知」。發現和抓取是两件事,中間的判断權始终在搜尋引擎手里。
一、推送只解决發現,不决定抓取
提交成功的提示只能說明接口收到了這條记錄,接下来還有一连串判断:這個站点整体值不值得多给预算、這個 URL 有没有站内入口、服務器响應是否稳定、頁面内容是否值得占一次抓取額度。任何一环卡住,推送都只是安静地躺在队列里。
所以更實用的心態是:推送提高被發現的概率,但不改變站点的抓取基本面。基础差的时候,加大推送量往往只是把無效信息重复了一遍。
把主動提交理解成「發了一條通知」,而不是「下了一張必须执行的工單」,预期會合理很多。
二、常见渠道的差异
- Sitemap:批量声明整站清單,适合结构稳定的站点,重点是地址正确、更新及时。
- 站長平台提交接口:针對單個或少量 URL,通常配合新頁面發布使用,有每日額度限制。
- IndexNow:一次提交、參與方共享,适合更新频率較高的内容站。
- RSS / Atom:有稳定更新节奏的栏目可以顺带輸出,成本低,作為补充渠道即可。
這些渠道彼此不冲突,但没有必要每個都全量推一遍,重复提交不會加快速度。
三、推送之前先做几項自查
- URL 直接訪問返回 200,不需要登入、不依赖 Cookie 或特定 UA。
- robots.txt 没有屏蔽该目錄,頁面本身没有 noindex 之類的指令。
- 推最终地址,不要推 301、302 的中間地址,否則抓取會消耗在跳轉上。
- 推送地址與頁面 canonical 保持一致,參數版、大小寫變体不要混着推。
- 頁面已经有實际内容,避免把占位頁、空列表頁提前送出去。
這几條里最容易出問题的是第三條。改版或換域名之後,模板里残留的舊地址被繼續推送,蜘蛛每次来都先吃一次跳轉,划不来。
四、推送节奏:宁少勿滥
額度是有限的,把它留给真正需要被發現的 URL:新發布的詳情頁、内容有實质更新的頁面、刚從草稿轉為公開的頁面。已经收錄且長期没變化的老頁面,反复推送收益很低。
- 新增和更新的地址按天推,不要攒一批後集中刷屏。
- 下架的頁面不要推送,改用 404 或 410 狀態,並在 Sitemap 中移除。
- 列表頁、篩選頁、分頁深层這類大量相似地址,交给内鏈和 Sitemap 管理更合适。
- 推送记錄留一份,方便後面和日誌對照。
五、推送之後怎么驗證
真正的答案在服務端日誌里,而不在接口的成功提示里。可以按下面的顺序看:
- 日誌中能不能找到提交渠道對應的抓取记錄,確認請求确實到達了服務器。
- 抓到的地址是不是你推送的那個,有没有被跳到別的 URL。
- 從推送到首次抓取的時間間隔有没有明顯變長,變長通常意味着站点侧出了問题。
- 返回碼是否正常,有没有成片的 5xx 或 429。
需要提醒的是,日誌里的 UA 可以伪造,只能作為參考,判断时结合 IP 段和訪問路径一起看更稳妥。
六、几個容易踩的坑
- 頁面上线前就推送,抓取时拿到的是空頁面或 404。
- 把 Sitemap 当推送接口反复全量重推,地址没變却天天提交。
- 推送带追踪參數的地址,造成同一内容多個入口。
- 站点不可達期間繼續推送,等恢复後抓取队列里堆着一批失敗的记錄。
- 把推送量当作指标,却不看推送後到底有没有产生抓取。
把主動提交放在它该在的位置:它是 URL 發現环节的补充手段,和 Sitemap、内鏈结构、服務器稳定性是同一层的事情。發現這一环理顺了,剩下的交给内容和時間。