搜索抓取

旧文回链新页面:用已有的抓取通路带出新的 URL

新页面发布后,除了等 Sitemap 被处理,还有一条更直接的办法:在蜘蛛常来的老页面正文里补一条链接。本文讲怎么挑老页面、链接放在哪一段、锚文本怎么写,以及回填的节奏和事后如何用日志确认这条通路是否真的把蜘蛛带到了新 URL。

搜索抓取

旧文回链新页面:用已有的抓取通路带出新的 URL

内链是一条被低估的发现路径

Sitemap 提交、日志推送、外链,都是蜘蛛发现新 URL 的方式。但对大多数中小站点来说,最稳定的一条路径其实是站内已有的链接。蜘蛛会按固定频率回来抓那些它已经熟悉、更新频繁的页面,再顺着这些页面上的链接往下走。新页面如果只出现在 Sitemap 里,可能要等下一轮才被安排;如果挂在一个蜘蛛常来的老页面正文中,被发现的时间往往会提前。

先挑出值得回链的老页面

不是所有老页面都值得动手。判断标准有两条:蜘蛛来得多不多,以及内容是否真的有关联。

  • 抓取频次高的栏目页或长文:从服务器日志里能看到它们的访问次数明显高于平均值,这类页面是理想的入口。
  • 主题接近的旧内容:讲同一类问题的文章,回链新文的语境更容易写顺,读者也更愿意点。
  • 有稳定自然流量的页面:搜索来的访客会看到这条新链接,链接的价值不至于只停留在抓取层面。

如果一个页面本身半年没被蜘蛛访问过,往里加链接的意义有限,不如先解决它自己的抓取问题。

链接放在哪一段,比放不放更重要

放在正文相关段落中

把链接写进确实需要延伸阅读的那句后面,比在文末堆一排“相关文章”更稳。正文里的链接对读者和蜘蛛都比较自然;推荐模块位置靠下,被注意到的机会也更少。

锚文本写清目标内容

锚文本是蜘蛛理解目标页面主题的线索之一。写“点击这里”几乎没有信息量,“内链回填的时机”这样的描述能让蜘蛛大致判断目标页在讲什么。同一批链接不必刻意统一锚文本,写得自然一点反而更好。

回填的节奏与数量

  1. 新内容发布后先确认它自己能正常访问、返回正常状态码,再考虑回链。
  2. 优先在 3 到 5 个最相关的老页面上加链接,不必一次铺开。
  3. 观察一两周日志,看新 URL 是否被访问过,再决定要不要继续加。
  4. 如果新页面是系列内容,可以在系列第一篇里做一次集中指向。

在几十个页面里同时插入同一个链接,容易显得刻意,实际效果也未必更好。链接数量不是越多越好,能不能被走到才是关键。

回填之后,用日志确认效果

服务器日志里,老页面的抓取记录后面通常跟着一串它链接出去的 URL 访问记录。如果新页面在日志中出现了,说明这条路径通了;如果连续几周都没有出现,就要回头检查:链接是不是靠 JS 渲染才出现、是不是带了 nofollow、或者这个老页面本身近期就没被抓过。

内链回填的作用,是让一条已经存在的抓取通路顺手多带一个 URL。做这件事的前提,是那条通路上本来就有人在走。