搜索抓取

除了 Sitemap,新 URL 还能怎么递给蜘蛛

Sitemap 只是给蜘蛛一份清单,真正让新地址被看到,还要靠主动推送、IndexNow、RSS 和页面更新区块。本文说明这几种递交方式的适用场景与推送节奏,以及如何用服务器日志确认递交有没有被蜘蛛读到,并列出不值得推送的几类 URL。

搜索抓取

除了 Sitemap,新 URL 还能怎么递给蜘蛛

Sitemap 只解决了一半问题

Sitemap 的作用是列清单:它让蜘蛛知道站内存在哪些 URL。但清单写完只是第一步——蜘蛛什么时候来、先抓哪些、抓几次,仍然由它自己判断。所以除了把 Sitemap 维护好,还需要几个辅助的递交方式,以及一套能确认“递交是否生效”的验证方法。

常见的几种 URL 递交方式

  • Sitemap 提交与 ping:在站长平台提交一次地址即可,内容有较大更新时可以重新 ping 一次。频繁重复 ping 没有额外好处,也容易让平台判定为异常请求。
  • 主动推送接口:百度提供普通收录 API 推送;Bing、Yandex 支持 IndexNow。这类接口属于“通知”,不是“收录”,推送成功只代表对方收到了一条新 URL 的记录。
  • RSS 或 Atom 订阅源:适合更新节奏稳定的栏目,例如资讯、博客、公告。它天然按时间排列,蜘蛛可以顺着订阅源判断哪些是新的。
  • 页面上的“最新更新”区块:在首页或栏目页保留一块最近发布内容的链接区,比藏在三级栏目深处更容易被爬到。
  • 自然外链:来自其他站点、社交平台或行业导航的链接,仍然是发现新站和新栏目最直接的方式之一。

递交之后怎么确认有没有用

后台里的“已提交数量”只能说明接口收到了数据,不能说明蜘蛛来过。真正要看的是服务器日志:

  • 目标蜘蛛是否有访问记录,User-Agent 与 IP 是否对得上;
  • 请求状态码分布,200 占多少,是否出现被拒、超时、5xx;
  • 抓取时间是否落在你提交之后的几天内,还是完全没有动静;
  • 被请求的 URL 是否就是你提交的那一批,而不是只抓了首页就离开。

如果提交后日志里始终没有对应记录,优先检查这几项:网址是否可公开访问、是否被 robots.txt 拦截、返回码是否正常、在无登录、无 JS 执行的情况下页面是否还能看到实质内容。

哪些 URL 不值得递交

递交渠道的额度通常有限,把额度花在低价值地址上,等于稀释了重要页面的机会。以下类型一般不建议推送:

  1. 带筛选、排序、追踪参数的地址,以及由站内搜索生成的页面;
  2. 内容尚未填充完整的占位页、空分类页、只有一句“敬请期待”的页面;
  3. 与已有页面高度重复的版本,例如同一篇文章的打印页、多个子域名的副本;
  4. 已经明确要下线的旧地址,别在迁移前后再推一遍。

节奏与边界

推送频率和站点更新频率大致对齐就好:一天更新十篇就推十篇,一周更新两篇也没必要天天发请求。把所有 URL 每天全量推一遍,既没有多大意义,也容易让接口把来源判定为异常流量。

递交只是把门敲响。来不来、什么时候来、抓几次,仍然取决于站点自身的更新节奏、内容质量和过往的抓取表现。