标签：URL 管理

noindex 不等于让蜘蛛别来：被排除收录的 URL 该怎么处理

noindex 和 robots.txt 的 disallow 经常被当成同一件事，实际作用阶段完全不同。本文说明哪些页面适合保留抓取、只做收录排除，哪些更适合直接阻断请求，以及两者叠用时常见的失效顺序，并给出一份可执行的检查清单。