很多站点把 URL 发现全押在 Sitemap 和内链上。Sitemap 更新有延迟,新页面如果内链少,蜘蛛可能几天都摸不到。RSS/Atom 和搜索平台的主动推送接口,是两条成本不高的补充路径。它们不能保证收录,但能让新 URL 更早进入抓取队列。
被动发现和主动提交是两回事
Sitemap 属于被动发现,蜘蛛按自己的节奏来取;内链也是被动发现,需要蜘蛛先爬到入口页。主动推送则是你把 URL 直接交给搜索引擎,让它知道「这个地址刚刚出现」。两者不冲突,可以同时用。
主动推送解决的是「通知」,不是「收录」。通知到了,抓不抓、收不收,仍由搜索引擎判断。
RSS/Atom 怎么输出才有用
RSS 适合内容更新频繁的栏目,比如文章、商品、问答。它本质是一个按时间排序的 XML 列表,蜘蛛可以定期来拉,发现最近新增的 URL。
输出完整内容还是摘要
如果只输出摘要,蜘蛛仍需要访问原页才能拿到正文,这没问题;如果输出全文,要小心重复内容问题。更稳妥的做法是输出摘要加原文链接,让蜘蛛自己决定。
条目数量和更新频率
- 保留最近 20-50 条即可,不必把全站历史都塞进去
- 更新频率尽量稳定,不要一天推 500 条、接着半个月不动
- 每个条目给唯一 guid 和 pubDate,避免蜘蛛重复处理
- RSS 文件本身要被 robots.txt 允许抓取,路径别设成 noindex
主动推送接口的使用要点
百度、必应等平台都提供主动推送接口,通常一次可以提交若干条 URL。它的价值在于缩短「新页面被知道」的时间。
推送频率与去重
- 有新内容就推,不要为了凑数把旧 URL 反复提交
- 同一 URL 短期内重复推送,平台可能降权或忽略
- 推送前做一层去重,只提交最近新增或实质更新的地址
- 推送接口有配额,先保证重点栏目,再考虑全站
推送失败怎么处理
接口返回失败时,先看是参数问题、鉴权问题,还是配额用尽。偶发失败可以重试;大面积失败要先停下,检查站点是否被防火墙拦截,或者服务器时间是否偏差太大导致签名无效。
如果站点有多个域名或测试环境,推送时务必用正式域名,别把测试地址推给搜索引擎。
几个容易踩的坑
- RSS 地址没放在页面显眼位置,蜘蛛找不到入口
- RSS 里混入大量标签页、分页、筛选参数 URL
- 主动推送只推首页和栏目页,详情页全靠蜘蛛自己爬
- 推送接口返回成功就以为万事大吉,不回头看日志里的抓取情况
- 站点改版后旧 RSS 地址 404,没有做 301
和日志对照着看
推送之后,隔几天去看服务器日志里有没有对应的蜘蛛请求。如果推送了但日志里完全没有记录,可能是接口没生效、URL 被 robots 挡住,或者服务器对蜘蛛返回了异常状态码。把推送记录、RSS 抓取记录和访问日志放一起对,才能判断这条路有没有走通。
最后提醒一句:RSS 和主动推送只是 URL 发现的补充,不能替代清晰的站点结构、稳定的内链和可访问的页面。页面本身打不开或者内容质量不过关,通知得再快也没有意义。