很多做站点运营的人会遇到这种情况：某个目标 URL 已经从入口页撤掉了链接，可日志里搜索蜘蛛还在抓它，甚至抓得更勤。这到底是撤链没生效，还是本来就该这样？下面按“已发现”和“未发现”两种情况拆开说。
撤掉链接和“URL 被遗忘”是两回事
入口页上的链接，主要作用是给搜索蜘蛛提供一条发现路径。一旦搜索蜘蛛访问过这个 URL，它就被记进了抓取系统里，和你之后有没有继续放链接关系不大。
- 已经被抓取并收录的 URL：撤链后不会立刻消失，搜索蜘蛛仍会按自己的节奏回访，确认页面是否还在、内容有没有变。
- 被发现但还没抓取或未收录的 URL：仍可能留在待抓取队列里，只是优先级会慢慢降低，最终可能长期不被抓。
- 从未被发现的 URL：撤链之后基本就没有新的发现渠道了，除非别处还有指向它的链接。
所以撤链影响的是后续被发现的概率，而不是“立刻停止抓取”。
撤链后常见的几种表现
- 抓取频次先波动，之后缓慢下降，一般不会断崖式归零。
- 已经收录的页面可能还留在索引里一段时间，标题和摘要也不会马上更新。
- 如果目标 URL 在站内其他位置或外部站点还有链接，撤掉一条入口页链接几乎等于没影响。
确实不想让它继续被抓，该动哪里
如果你撤链的目的不是“缩小发现规模”，而是“不想再被抓取或被收录”，光撤链是不够的，需要配合下面这些信号：
- 页面返回 404 或 410：最直接。410 的语义是“永久删除”，通常比 404 收敛得干脆一些。
- meta robots noindex：适合页面仍要给用户访问、但不希望进入索引的场景。注意它需要页面能被抓取，指令才会被读到。
- robots.txt 屏蔽抓取：能挡住抓取，但如果页面已被收录，robots.txt 本身并不会把已有结果移除，有时还会让搜索引擎读不到页面上的 noindex。
- 登录或权限限制：适合内部页面，但要注意别把自己正常的入口页一起挡在外面。
撤链、屏蔽抓取、移出索引是三件不同的事。先想清楚你要的是哪一个，再选手段，不要三样一起上。
撤链的操作顺序建议
- 先确认这个 URL 是否还有其它入口页、站内导航或外部链接指向它。
- 如果只是想让发现规模收缩，可以分批、逐步撤，而不是一次性清空所有入口页链接。
- 如果是要下线页面，先让页面返回 410 或 404，或加上 noindex，再撤链接。
- 撤链后观察一段时间的日志，确认抓取总量和抓取频率的变化是否符合预期。
怎么验证撤链是否真的起作用
最实在的办法还是看服务器日志：统计搜索蜘蛛对目标 URL 的请求次数、返回状态码和访问间隔。判断时注意两点：
- 已经有抓取记录的 URL，回访可能持续数周甚至更久，这属于正常现象，不代表撤链失败。
- 如果撤链后抓取量不降反升，先排查是不是出现了新的链接来源，或者页面本身触发了别的抓取信号。
几个常见误区
- 以为撤链等于“删除记录”：链接只是发现通道，抓取记录不会被撤回。
- 只在入口页撤链，忽略了 sitemap 和主动提交：这些渠道同样会让 URL 被反复发现。
- 撤链后马上判断没效果：搜索蜘蛛的调度有自己的周期，短期内看不到变化很正常。
把链接当成发现通道、把页面状态码和 robots 指令当成控制手段，这两件事分开看，撤链这件事就不会那么纠结了。