入口頁的作用是给搜尋蜘蛛一條可走的路径，让目标URL有机會被發現。路径断了，已發現的结果通常不會马上消失，但新内容的發現节奏會變。理解這一点，才能判断連結失效後要不要紧急處理。
連結消失後，蜘蛛行為大致有三段變化
- 已抓取過的目标URL不會因為入口頁消失而立刻不再被抓。搜尋引擎手里已经有這個地址，是否繼續抓取更多取决于目标URL自身的内容更新、站内連結和整体站点质量。
- 新URL的發現會變慢。入口頁本质是發現通道，通道减少，通常先表現為新頁面進日誌的時間拉長，而不是老頁面的抓取立刻归零。
- 入口頁自身的抓取频次會先下降。如果入口頁整站下线或長期返回错誤狀態，搜尋蜘蛛来訪次數减少往往在前，目标URL抓取變化在後，中間可能有几天到几周的滞後。
几種常见情形的差別
單條連結被删，入口頁還在
影响最小。只要入口頁仍被正常抓取，且頁面上還有其他指向目标URL的連結，發現节奏一般不會有明顯變化。真正要留意的是，被删的這條連結是不是目标URL唯一的外部入口。
連結改成了错誤狀態
把入口頁上的連結直接删成 404，和改成 301 指向一個同類且相關的頁面，效果不一样。前者是把通道彻底掐断，後者至少把已有抓取路径顺延下去。批量改動时，建议分批處理並對照日誌观察。
入口頁整站下线或長期不可訪問
這是影响最大的一種。原先靠這些頁面维持的抓取频次會逐步衰减，新URL的發現周期拉長。如果站点還有 sitemap、站内連結、主動推送等通道，衰减會平缓一些；如果全靠入口頁，過渡期會比較明顯。
怎么判断自己受了多大影响
- 對比入口頁日誌和目标URL日誌，看目标URL的抓取次數、首次抓取時間是否出現明顯變化。
- 看發現来源是否單一。如果一個目标URL只靠入口頁被發現，站内連結、sitemap、主動推送都没有覆盖，那它對入口頁的依赖就很高。
- 看目标URL本身是否在更新。内容長期不變的頁面，抓取频次下降属于正常波動，不必都归因到入口頁。
更稳妥的過渡做法
- 不要一次性清空所有入口連結，保留至少一條可正常訪問、狀態稳定的入口。
- 同步用 sitemap 和主動推送把目标URL重新提交一遍，让發現不只依赖一條通道。
- 确需下线入口頁时，用 301 跳到同類且相關的頁面，而不是直接返回 404。
- 替換入口頁时让新舊通道並行一段時間，看到新通道确實被抓取後，再撤掉舊的。
几個容易踩的誤区
一是以為删掉入口頁連結就能阻止搜尋蜘蛛抓取目标URL。已经進入抓取队列的地址通常還會被繼續訪問，要控制抓取應该用 robots.txt 或頁面狀態碼，而不是靠断鏈。
二是以為入口頁越多越好。數量堆上去但质量差、内容重复，反而可能让入口頁本身被抓得少，也难带動目标URL的發現。
三是以為重建入口頁後抓取會立刻恢复。频次回升通常需要一段時間，而且要先看到入口頁本身被稳定抓取。
把入口頁当成發現通道之一，而不是唯一依赖。通道断掉时，真正的缓冲是站内連結、sitemap 和主動推送這些能獨立工作的路径。