标簽：URL 生命周期

下架、合並與改址之後：让蜘蛛尽快放弃舊 URL 的收尾動作

内容下架、頁面合並或改址之後，舊 URL 如果處理得含糊，蜘蛛會反复回来確認，把抓取次數耗在死胡同里。本文按彻底刪除、換地址、内容合並、暂时下架四種情形，梳理 404 與 410 的選擇、301 跳轉鏈的控制、站内入口與 Sitemap 的同步清理，以及怎样從抓取日誌判断收尾是否完成。