标签：索引管理

被 robots.txt 挡住的 URL，为什么还能在索引里看到

robots.txt 管的是抓取，不是收录。本文说明被 Disallow 的地址为何仍可能出现在索引里、只留 URL 的空条目是怎么形成的，以及 disallow 与 noindex 同时使用时会出什么问题，并给出让页面真正退出索引的处理顺序。