Sitemap 只解决了一半问题
Sitemap 的作用是列清单:它让蜘蛛知道站内存在哪些 URL。但清单写完只是第一步——蜘蛛什么时候来、先抓哪些、抓几次,仍然由它自己判断。所以除了把 Sitemap 维护好,还需要几个辅助的递交方式,以及一套能确认“递交是否生效”的验证方法。
常见的几种 URL 递交方式
- Sitemap 提交与 ping:在站长平台提交一次地址即可,内容有较大更新时可以重新 ping 一次。频繁重复 ping 没有额外好处,也容易让平台判定为异常请求。
- 主动推送接口:百度提供普通收录 API 推送;Bing、Yandex 支持 IndexNow。这类接口属于“通知”,不是“收录”,推送成功只代表对方收到了一条新 URL 的记录。
- RSS 或 Atom 订阅源:适合更新节奏稳定的栏目,例如资讯、博客、公告。它天然按时间排列,蜘蛛可以顺着订阅源判断哪些是新的。
- 页面上的“最新更新”区块:在首页或栏目页保留一块最近发布内容的链接区,比藏在三级栏目深处更容易被爬到。
- 自然外链:来自其他站点、社交平台或行业导航的链接,仍然是发现新站和新栏目最直接的方式之一。
递交之后怎么确认有没有用
后台里的“已提交数量”只能说明接口收到了数据,不能说明蜘蛛来过。真正要看的是服务器日志:
- 目标蜘蛛是否有访问记录,User-Agent 与 IP 是否对得上;
- 请求状态码分布,200 占多少,是否出现被拒、超时、5xx;
- 抓取时间是否落在你提交之后的几天内,还是完全没有动静;
- 被请求的 URL 是否就是你提交的那一批,而不是只抓了首页就离开。
如果提交后日志里始终没有对应记录,优先检查这几项:网址是否可公开访问、是否被 robots.txt 拦截、返回码是否正常、在无登录、无 JS 执行的情况下页面是否还能看到实质内容。
哪些 URL 不值得递交
递交渠道的额度通常有限,把额度花在低价值地址上,等于稀释了重要页面的机会。以下类型一般不建议推送:
- 带筛选、排序、追踪参数的地址,以及由站内搜索生成的页面;
- 内容尚未填充完整的占位页、空分类页、只有一句“敬请期待”的页面;
- 与已有页面高度重复的版本,例如同一篇文章的打印页、多个子域名的副本;
- 已经明确要下线的旧地址,别在迁移前后再推一遍。
节奏与边界
推送频率和站点更新频率大致对齐就好:一天更新十篇就推十篇,一周更新两篇也没必要天天发请求。把所有 URL 每天全量推一遍,既没有多大意义,也容易让接口把来源判定为异常流量。
递交只是把门敲响。来不来、什么时候来、抓几次,仍然取决于站点自身的更新节奏、内容质量和过往的抓取表现。