做蜘蛛池时，入口頁的作用是让搜尋蜘蛛從一個地方拿到目标 URL 列表。但如果入口頁本身寫在 robots.txt 的 Disallow 里，情况就變得微妙：常常能看到蜘蛛来訪問域名，却看不到它去抓取入口頁里的連結。這篇把原理和排查思路理一下。
先分清“發現 URL”和“抓取 URL”
搜尋蜘蛛的工作大致分两步：發現和抓取。發現只是 URL 進入待抓取队列；抓取才會真正下载頁面内容。robots.txt 约束的主要是第二步，而不是第一步的發現。
換句话说，一個 URL 完全可能“被知道但没被抓”。日誌里出現訪問记錄，說明完成了抓取；日誌里没有记錄，也不能直接断定蜘蛛不知道這個 URL。
入口頁被屏蔽後，連結還能被發現吗
要分情况看：
- 只屏蔽入口頁、頁面内容從未被抓過：蜘蛛通常不會去下载被禁止抓取的頁面，頁面里的 a 标簽連結也就無法提取，目标 URL 基本不會被入口頁带出来。
- 入口頁曾经被抓過、之後才加 Disallow：索引里可能還留有舊版本内容，舊連結仍可能在一定時間内被發現，但這属于歷史残留，不能当成稳定手段。
- 入口頁被屏蔽，但目标 URL 有別的来源：比如 sitemap、外鏈、其他未被屏蔽的入口頁。發現會照常發生，和 robots.txt 無關。
- 屏蔽范围没覆盖入口頁：比如只寫了某個子目錄，入口頁仍然會被抓，連結也能正常發現。
不同搜尋引擎對 robots.txt 的执行细节有差別，個別引擎在特定條件下仍會把被屏蔽的 URL 收錄為無摘要结果。這不是可以依赖的通道，實测时一定要看自己目标搜尋引擎的日誌表現。
几個常见的配置誤区
- 用 User-agent: * 加一條范围過大的 Disallow，把入口頁和静態资源一起屏蔽了。
- 在 robots.txt 里补寫 Allow，以為能覆盖前面的 Disallow，實际匹配規則並不是简單的“後寫的優先”。
- 拿 robots.txt 挡临时不想被訪問的頁面，却忘了它同样會影响入口頁的連結提取。
- 把 robots.txt 当成保密手段，實际公開可訪問，還可能因為寫法暴露目錄结构。
想屏蔽部分内容，又想保住入口頁的發現能力
- 把屏蔽范围收窄到具体目錄或文件，不要整站或整段路径一刀切。
- 入口頁保持可抓取，把要藏起来的部分放到 meta robots 或更精确的路径規則里。
- 入口頁與目标 URL 分開部署：入口頁干净可抓，目标 URL 單獨控管。
- robots.txt 與 sitemap 配合使用，避免两邊規則互相打架。
怎么確認到底有没有生效
比較稳的做法是看三样東西：一是服務器日誌里入口頁的抓取频率和目标 URL 的抓取记錄；二是搜尋资源平台自带的 robots.txt 測試與 URL 检查工具，用它判断某個 URL 是否被屏蔽；三是把入口頁临时放開一小段路径做對照測試。
如果日誌里長期只有入口頁被抓、目标 URL 一次都没出現，優先怀疑 robots.txt 或响應头层面的拦截，而不是急着改入口頁的連結结构。反過来，如果入口頁和目标 URL 都在被抓，但收錄情况不理想，那就是另一個话题了，和屏蔽無關。
robots.txt 管的是能不能抓，不是能不能知道，两者不能互相替代。
小结
入口頁被 robots.txt 屏蔽时，它里面的連結通常也一起失去了被發現的机會，例外只有歷史缓存和其他連結来源。排查时把“發現”和“抓取”分開看，再對照日誌與工具结果，基本就能定位問题出在哪一层。