做入口頁时，很容易把「被發現」和「被抓取、被收錄」混成一件事。目标 URL 能不能被搜尋蜘蛛發現，與它有没有被 robots.txt 挡住、有没有设 noindex，是两套完全不同的机制。這篇文章把三者拆開讲。
先分清三個阶段：發現、抓取、索引
- 發現：搜尋蜘蛛在入口頁 HTML 里看到一條指向目标 URL 的連結，把它放進待抓取队列。
- 抓取：蜘蛛實际發出請求並拿到响應。這一步受 robots.txt、訪問频率、服務器狀態影响。
- 索引：抓到的内容经過评估後進入索引库，受 noindex、内容质量、重复度影响。
入口頁能帮上忙的主要是第一步。後面两步的决定權，在目标站自己的配置和内容上。
目标 URL 被 robots.txt 屏蔽會怎样
robots.txt 里的 Disallow 是「請求抓取」的约定，不是「禁止發現」。蜘蛛從入口頁解析出一條被 Disallow 的 URL 後，通常仍會知道這個地址存在，但不會去抓它的正文。
于是常见两種结果：
- URL 可能仍出現在搜尋结果里，但没有标题描述和摘要，各搜尋引擎表現並不一致。
- 更多时候它只是躺在待抓取队列里，長期不产生任何抓取记錄。
入口頁解决的是「让蜘蛛知道有這個地址」，解决不了「蜘蛛愿不愿意抓」。被規則挡住的 URL，加多少入口頁都推不動。
noindex 和 robots.txt 一起用，反而會失效
noindex 通過 meta 标簽或 X-Robots-Tag 响應头传達，前提是蜘蛛能抓到頁面、讀到這個标簽。如果同时用 robots.txt 屏蔽了這個 URL，蜘蛛根本不會請求它，也就看不到 noindex，标簽等于白寫。這是很常见的配置错誤。正确做法是：想让頁面登出索引，允许抓取並加 noindex；想彻底禁止抓取（比如後台目錄），才用 robots.txt。
對入口頁运营的實际影响
不少人在入口頁里铺满目标 URL，却忘了先检查目标站自己的 robots.txt。典型踩坑有這些：
- 目标站測試阶段寫了 Disallow: /，上线後忘了删，入口頁怎么推都没用。
- 目标 URL 带參數，被 robots.txt 里的通配規則誤伤。
- 目标頁為了临时下架设了 noindex，之後忘了改回来。
這三類問题的共同点是：入口頁工作正常，目标 URL 本身却處在不可抓取狀態。
怎么驗證
第一步，直接在浏览器打開目标站的 robots.txt，逐條看規則是否覆盖到你的目标 URL。搜尋蜘蛛按域名匹配規則，一條 Disallow: / 就能把整站挡掉。
第二步，用日誌核對。如果抓取日誌里長時間没有针對這些目标 URL 的請求，而入口頁本身有稳定的蜘蛛訪問，那問题基本不在入口頁，而在目标站的抓取規則或頁面狀態上。
第三步，用站長平台的 URL 检查工具看抓取结果，它會直接告诉你「已被 robots.txt 屏蔽」還是「可抓取」。
几條實用建议
- 入口頁只负责發現，不负责绕過規則。先確認目标 URL 本身可被抓取，再考虑怎么让它更快被發現。
- robots.txt 和 noindex 別用在同一组 URL 上，否則 noindex 不生效。
- sitemap 和入口頁可以配合使用，但两者都替代不了目标站的可抓取狀態。
- 入口頁每天稳定放出少量新連結，通常比一次性堆几百條更容易让蜘蛛形成規律訪問。
把「發現」和「抓取」分清之後，很多看起来是入口頁無效的問题，其實根源在目标站自己的配置上。先排查規則，再谈推送节奏，顺序反了會白花很多時間。