标簽：meta noindex

入口頁加了 meta noindex，搜尋蜘蛛還會顺着連結發現目标 URL 吗

蜘蛛池入口頁常加 noindex 避免被收錄，同时又要靠它把蜘蛛引到目标 URL。這两件事並不冲突：noindex 管的是索引，不直接阻止抓取和連結跟随。真正容易出問题的是把 noindex 與 nofollow 寫混、被 X-Robots-Tag 覆盖，或用 robots.txt 把抓取挡在门外。