标签：URL 生命周期

下架、合并与改址之后：让蜘蛛尽快放弃旧 URL 的收尾动作

内容下架、页面合并或改址之后，旧 URL 如果处理得含糊，蜘蛛会反复回来确认，把抓取次数耗在死胡同里。本文按彻底删除、换地址、内容合并、暂时下架四种情形，梳理 404 与 410 的选择、301 跳转链的控制、站内入口与 Sitemap 的同步清理，以及怎样从抓取日志判断收尾是否完成。