入口页的作用是给搜索蜘蛛一条可走的路径，让目标URL有机会被发现。路径断了，已发现的结果通常不会马上消失，但新内容的发现节奏会变。理解这一点，才能判断链接失效后要不要紧急处理。
链接消失后，蜘蛛行为大致有三段变化
- 已抓取过的目标URL不会因为入口页消失而立刻不再被抓。搜索引擎手里已经有这个地址，是否继续抓取更多取决于目标URL自身的内容更新、站内链接和整体站点质量。
- 新URL的发现会变慢。入口页本质是发现通道，通道减少，通常先表现为新页面进日志的时间拉长，而不是老页面的抓取立刻归零。
- 入口页自身的抓取频次会先下降。如果入口页整站下线或长期返回错误状态，搜索蜘蛛来访次数减少往往在前，目标URL抓取变化在后，中间可能有几天到几周的滞后。
几种常见情形的差别
单条链接被删，入口页还在
影响最小。只要入口页仍被正常抓取，且页面上还有其他指向目标URL的链接，发现节奏一般不会有明显变化。真正要留意的是，被删的这条链接是不是目标URL唯一的外部入口。
链接改成了错误状态
把入口页上的链接直接删成 404，和改成 301 指向一个同类且相关的页面，效果不一样。前者是把通道彻底掐断，后者至少把已有抓取路径顺延下去。批量改动时，建议分批处理并对照日志观察。
入口页整站下线或长期不可访问
这是影响最大的一种。原先靠这些页面维持的抓取频次会逐步衰减，新URL的发现周期拉长。如果站点还有 sitemap、站内链接、主动推送等通道，衰减会平缓一些；如果全靠入口页，过渡期会比较明显。
怎么判断自己受了多大影响
- 对比入口页日志和目标URL日志，看目标URL的抓取次数、首次抓取时间是否出现明显变化。
- 看发现来源是否单一。如果一个目标URL只靠入口页被发现，站内链接、sitemap、主动推送都没有覆盖，那它对入口页的依赖就很高。
- 看目标URL本身是否在更新。内容长期不变的页面，抓取频次下降属于正常波动，不必都归因到入口页。
更稳妥的过渡做法
- 不要一次性清空所有入口链接，保留至少一条可正常访问、状态稳定的入口。
- 同步用 sitemap 和主动推送把目标URL重新提交一遍，让发现不只依赖一条通道。
- 确需下线入口页时，用 301 跳到同类且相关的页面，而不是直接返回 404。
- 替换入口页时让新旧通道并行一段时间，看到新通道确实被抓取后，再撤掉旧的。
几个容易踩的误区
一是以为删掉入口页链接就能阻止搜索蜘蛛抓取目标URL。已经进入抓取队列的地址通常还会被继续访问，要控制抓取应该用 robots.txt 或页面状态码，而不是靠断链。
二是以为入口页越多越好。数量堆上去但质量差、内容重复，反而可能让入口页本身被抓得少，也难带动目标URL的发现。
三是以为重建入口页后抓取会立刻恢复。频次回升通常需要一段时间，而且要先看到入口页本身被稳定抓取。
把入口页当成发现通道之一，而不是唯一依赖。通道断掉时，真正的缓冲是站内链接、sitemap 和主动推送这些能独立工作的路径。