不少人把 URL 提交理解成一个“申请收录”的动作:提交完,接下来等结果就行。实际流程分成两段,提交只是把地址告诉搜索引擎,之后要不要抓、抓了要不要收录,由另外一套判断决定。把这两段混在一起,就容易反复提交同一个地址,却看不到任何变化。
提交解决的是“知道”,不解决“要不要”
搜索引擎发现 URL 的途径有很多:内链、外链、sitemap、历史抓取记录,以及各类提交接口。提交接口真正的价值是缩短发现时间,对新建站点、新栏目、缺少内链入口的孤立页面尤其明显。但它不回答后面两个问题:这个地址值不值得抓,抓回来值不值得收录。
所以看到“提交成功”就默认收录在路上的判断,往往在几天后会落空。提交成功只代表请求被接收,不代表排队顺序,也不保证一定会抓。
几个提交渠道,各自能做什么
- sitemap:适合批量告知站点结构,尤其是层级深、内链少的页面。它是一份清单,不是优先级承诺,写得全不代表抓得多。
- 搜索平台的单条提交:适合少量重点页面,比如刚上线的专题、活动页。通常有额度限制,不适合当日常手段。
- 即时推送类接口:适合更新频繁的站点,推的是“这个地址变了”,同样不承诺收录。
- 内链:它不是提交接口,却是最稳定的发现路径。一个有入口的页面,通常比只存在于 sitemap 里的页面更容易被抓到。
提交之后,先看这几个状态
- 抓取日志里有没有出现这个 URL。没出现,问题在发现和抓取环节;出现了,才轮到收录环节。
- 抓取时的状态码是不是 200。3xx 跳转、403、503 都会让这次抓取白跑。
- 页面上有没有主动的排除信号:meta robots 的 noindex、X-Robots-Tag、被 canonical 指到别的地址。这些会让页面即使被抓也不进索引。
- robots.txt 有没有意外屏蔽。屏蔽之后抓取请求根本不会发出,日志里自然也没有记录。
- 关掉 JS 之后还能不能看到主体内容。纯前端渲染的部分,抓取到的可能只是一层空壳。
按顺序排查,比反复提交更有效
遇到提交后没有动静,可以照这个顺序走一遍:
- 确认目标 URL 是最终地址,没有多余参数,也没有大小写、斜杠或默认文档造成的变体。
- 确认站内至少有 1~2 个可点击入口指向它,并且这些入口页面本身可抓取。
- 确认 robots.txt、meta robots、canonical 三处没有互相矛盾的设置。
- 看服务器日志,确认抓取是否发生、返回了什么状态码。
- 如果抓取发生过却没收录,回到内容本身:这个页面相比站内其他页面有没有独立信息,还是模板加少量文字的批量页。
- 以上都确认没问题,再重新提交一次,而不是每天提交。
真正决定收录的,还是页面本身
提交渠道能做的只是缩短发现时间。收不收录,更多取决于页面在整站里的位置、内容的独立程度,以及和相邻页面之间是否存在明显重复。内容独一份、站内有清晰入口的页面,通常不需要反复提交;反过来,一批只有模板差异的页面,提交次数再多,结果也很难改变。
把提交当成加速器,而不是开关。该核对的是从发现到抓取、从抓取到索引这条链路上的每一环,而不是提交按钮按了几次。