搜尋抓取

舊文回鏈新頁面:用已有的抓取通路带出新的 URL

新頁面發布後,除了等 Sitemap 被處理,還有一條更直接的办法:在蜘蛛常来的老頁面正文里补一條連結。本文讲怎么挑老頁面、連結放在哪一段、锚文本怎么寫,以及回填的节奏和事後如何用日誌確認這條通路是否真的把蜘蛛带到了新 URL。

搜尋抓取

舊文回鏈新頁面:用已有的抓取通路带出新的 URL

内鏈是一條被低估的發現路径

Sitemap 提交、日誌推送、外鏈,都是蜘蛛發現新 URL 的方式。但對大多數中小站点来说,最稳定的一條路径其實是站内已有的連結。蜘蛛會按固定频率回来抓那些它已经熟悉、更新频繁的頁面,再顺着這些頁面上的連結往下走。新頁面如果只出現在 Sitemap 里,可能要等下一轮才被安排;如果挂在一個蜘蛛常来的老頁面正文中,被發現的時間往往會提前。

先挑出值得回鏈的老頁面

不是所有老頁面都值得動手。判断标准有两條:蜘蛛来得多不多,以及内容是否真的有關联。

  • 抓取频次高的栏目頁或長文:從服務器日誌里能看到它們的訪問次數明顯高于平均值,這類頁面是理想的入口。
  • 主题接近的舊内容:讲同一類問题的文章,回鏈新文的语境更容易寫顺,讀者也更愿意点。
  • 有稳定自然流量的頁面:搜尋来的訪客會看到這條新連結,連結的價值不至于只停留在抓取层面。

如果一個頁面本身半年没被蜘蛛訪問過,往里加連結的意义有限,不如先解决它自己的抓取問题。

連結放在哪一段,比放不放更重要

放在正文相關段落中

把連結寫進确實需要延伸阅讀的那句後面,比在文末堆一排“相關文章”更稳。正文里的連結對讀者和蜘蛛都比較自然;推荐模块位置靠下,被注意到的机會也更少。

锚文本寫清目标内容

锚文本是蜘蛛理解目标頁面主题的线索之一。寫“点击這里”几乎没有信息量,“内鏈回填的时机”這样的描述能让蜘蛛大致判断目标頁在讲什么。同一批連結不必刻意统一锚文本,寫得自然一点反而更好。

回填的节奏與數量

  1. 新内容發布後先確認它自己能正常訪問、返回正常狀態碼,再考虑回鏈。
  2. 優先在 3 到 5 個最相關的老頁面上加連結,不必一次铺開。
  3. 观察一两周日誌,看新 URL 是否被訪問過,再决定要不要繼續加。
  4. 如果新頁面是系列内容,可以在系列第一篇里做一次集中指向。

在几十個頁面里同时插入同一個連結,容易顯得刻意,實际效果也未必更好。連結數量不是越多越好,能不能被走到才是關键。

回填之後,用日誌確認效果

服務器日誌里,老頁面的抓取记錄後面通常跟着一串它連結出去的 URL 訪問记錄。如果新頁面在日誌中出現了,說明這條路径通了;如果连續几周都没有出現,就要回头检查:連結是不是靠 JS 渲染才出現、是不是带了 nofollow、或者這個老頁面本身近期就没被抓過。

内鏈回填的作用,是让一條已经存在的抓取通路顺手多带一個 URL。做這件事的前提,是那條通路上本来就有人在走。