标签：meta noindex

入口页加了 meta noindex，搜索蜘蛛还会顺着链接发现目标 URL 吗

蜘蛛池入口页常加 noindex 避免被收录，同时又要靠它把蜘蛛引到目标 URL。这两件事并不冲突：noindex 管的是索引，不直接阻止抓取和链接跟随。真正容易出问题的是把 noindex 与 nofollow 写混、被 X-Robots-Tag 覆盖，或用 robots.txt 把抓取挡在门外。