站点运营

站点运营:清理草稿与预览链接,别让半成品页面提前收录

草稿页、预览链接和测试地址经常在发布流程中被漏掉,它们内容不完整、标题重复,却可能被搜索引擎发现并占用抓取资源。本文梳理这些地址的常见来源、自查方法,以及按页面去留分三类处理的具体做法,并给出几个容易踩的坑。

站点运营

站点运营:清理草稿与预览链接,别让半成品页面提前收录

很多站点的草稿、预览、测试页面并不是因为被谁刻意发布才出现在搜索结果里,而是发布流程中留下的临时链接被外部拿到,或者测试环境没有做任何访问限制。这些页面往往内容不完整、标题重复、图片缺失,一旦被搜索引擎发现,既占用了抓取资源,也可能和正式页面争抢同一批关键词。

草稿页通常从哪里漏出去

先别急着改代码,先想清楚这些地址是怎么产生的。常见来源大致有这几类:

  • CMS 自动生成的预览地址,通常带 token、post_id 之类的参数,复制粘贴就能访问;
  • 未发布的文章固定链接仍然可以打开,只是没有入口,很多人以为这样就等于不存在;
  • 测试域名或 staging 子域没有做登录限制,且内容和主站一致;
  • 上传目录、导出文件、备份压缩包放在可以直接访问的路径下;
  • 编辑把预览链接发给外部同事或客户,链接被转发、被复制,最终被别人抓到。

前两类属于自己站点的问题,后三类则往往和访问权限、目录规划有关,处理方式不太一样。

先确认哪些地址真的在外面

只凭印象判断容易漏项,建议按下面几步过一遍:

  1. 在搜索引擎里用 site: 加自己的域名,再搭配草稿相关的路径关键词,看看有没有不该出现的页面(自己查即可,不要反复刷);
  2. 翻服务器访问日志,找那些本该没人访问的路径,留意是否有搜索引擎爬虫的 UA 来过;
  3. 检查 sitemap 与站内链接,确认没有把草稿地址写进去;
  4. 检查 robots.txt,尤其是不允许抓取的目录列表,确认没有把整个测试目录误写进允许范围;
  5. 用无痕窗口访问这些地址,确认是否需要登录或密码。

处理方式按页面去留分三类

已经不需要的页面

如果草稿内容确定不会再发布,最干净的做法是让服务器直接返回 404,并确认文件已经真正删除,而不是只把链接从导航里拿掉。页面还在、只是没有入口,对爬虫来说仍然是可访问的。

还需要继续编辑的页面

这类页面建议加 noindex 标记,同时限制访问。这里有个顺序问题:noindex 需要页面能被正常抓取到才能被读到,如果 robots.txt 直接把整个目录 Disallow,爬虫拿不到 noindex,地址仍然可能以纯 URL 的形式出现在结果里。所以更稳妥的顺序是先允许抓取、让页面返回 noindex,等确认不再出现后,再考虑是否收紧抓取范围。

预览链接已经变成正式内容

如果预览地址对应的内容最终正式发布了,把预览地址 301 到正式地址,同时更新 sitemap 和内链,避免旧地址继续被访问到一份过时版本。

几个容易忽略的坑

  • 密码保护不等于不会被看到。加了密码的页面,URL 和标题仍有可能被记录下来,只是用户点进去看不到正文。
  • 带 token 的预览链接等同于公开地址。一旦被转发出去,token 就不再是保护措施。
  • 测试域名的风险比单个草稿页大得多。整站副本如果都没有 noindex,等于凭空多出一套重复内容。
  • 备份文件和导出的数据库放在可访问目录下,风险比草稿页更高,发现后应第一时间移除并更换相关凭据。
  • 站内搜索结果页、标签聚合页有时会自动把草稿标题拼进去,这类间接泄露容易被忽略。

把检查放进日常流程

  1. 发布前确认预览链接的访问范围,能设置有效期就设置;
  2. 每次批量导入、改版或迁移后,跑一遍站点地址清单,而不是只看首页;
  3. 定期翻日志中的异常路径,重点关注来自外部的访问;
  4. 把“临时链接怎么处理、谁负责收尾”写进编辑规范,避免每次靠人记得。
草稿页的问题通常不在于技术有多复杂,而在于发布流程里没人负责收尾。

把上面几项做成一份简单的清单,每个月抽半小时过一遍,比起事后到处找原因要省事得多。