标簽：URL 管理

noindex 不等于让蜘蛛別来：被排除收錄的 URL 该怎么處理

noindex 和 robots.txt 的 disallow 经常被当成同一件事，實际作用阶段完全不同。本文說明哪些頁面适合保留抓取、只做收錄排除，哪些更适合直接阻断請求，以及两者叠用时常见的失效顺序，並给出一份可执行的检查清單。