做蜘蛛池的人常常把注意力放在入口頁的模板、連結和跳轉上，却很少認真看一眼站点根目錄下的 robots.txt。這個文件不产生内容，也不影响頁面渲染，但它决定了爬虫能不能走進你的入口頁——在很多抓取異常的案例里，問题就出在這几十行文本上。
robots.txt 在蜘蛛池里到底管什么
robots.txt 是爬虫訪問一個站点时最先請求的文件之一。它告诉爬虫哪些路径可以抓、哪些不要抓，以及 sitemap 放在哪里。對蜘蛛池来说，它的作用有两個：一是决定入口頁能否被抓到，二是决定爬虫進入池子後的路径范围。
需要明确的是，robots.txt 是一份约定，不是防火墙。遵守它的爬虫會照做，不遵守的照样抓。所以它解决的是“正常爬虫的路线問题”，不是“拦截問题”。
几種常见寫法，分別會带来什么结果
- 全站 Disallow: /：正規搜尋引擎爬虫基本不會抓入口頁，池子形同虚设，除非你只想给特定 UA 看。
- 不寫 robots.txt（返回 404）：多數爬虫會视為没有限制，正常抓取。這是很多池子的預設狀態，能用，但不便于後續管理。
- 只拦後台和參數路径：這是比較常见的做法，把 /admin、/search?、/tmp 等無意义路径排除，把抓取预算留给入口頁。
- 路径通配寫错：想拦某個目錄结果寫成了整站前缀，或通配符使用不当，把入口頁也一起挡在门外。
判断标准很简單：如果入口頁在你的 robots.txt 里被挡住了，那么後面所有的模板優化、連結布局都没有意义。
什么时候该放開，什么时候该拦
大多數蜘蛛池场景下，入口頁需要被放開。入口頁的作用就是被爬到、被跟着連結走，如果连门都不開，谈別的都早。
真正需要拦的通常是三類：一是與池子無關的系統路径，避免爬虫在無意义頁面上消耗预算；二是可能产生大量重复或參數化 URL 的路径；三是你明确不想被索引的临时頁或測試頁。留住入口頁，拦住噪音，是基本思路。
robots.txt、nofollow 與 meta robots 的分工
三者经常被混為一谈，但作用范围不同：
- robots.txt 管的是“能不能抓”，按路径生效，面向整個站点。
- meta robots 管的是“抓了之後怎么办”，按頁面生效，可以寫 noindex、nofollow。
- 連結上的 nofollow 管的是“這條連結要不要跟”，按連結生效。
入口頁被 noindex 了却指望它引爬虫，是典型的方向错位。如果你希望入口頁被抓、但不希望它出現在搜尋结果里，可以用 noindex, follow 的组合；如果连跟連結都不想要，那這張入口頁基本就没有存在價值了。
几個容易踩的坑
- 拦掉整個目錄後忘了改回来。上线測試时加的限制，後面忘了删，池子安静了很久才發現。
- 多個子域名共用一份規則。有的池子把入口頁铺在多個子域上，却只改了主域的規則，其他子域各自返回 404 或舊内容，行為不一致。
- robots.txt 本身返回 5xx。爬虫拿不到這個文件时，保守的做法是暫停抓取该站部分内容，這會让入口頁迟迟進不了抓取队列。
- 規則寫得太细。几十條 Disallow 反而容易出错，也不利于排查。保持简單、可讀、可核對。
一些實用建议
- 把 robots.txt 列入池子上线检查清單，和狀態碼、跳轉一起核對。
- 在文件里寫明 Sitemap 地址，给 URL 發現多留一條通道。
- 每次改動後，用抓取測試工具或直接观察訪問日誌，確認爬虫行為符合预期。
- 保留改動记錄。哪一天放了什么路径、拦了什么路径，出了問题能快速回溯。
- 如果你同时运营多個池子，把各自的規則统一成一套模板，减少配置漂移。
robots.txt 不是玄学開關，它只是一份說明书。寫清楚“這里可以来、那邊不用来”，爬虫的路线就會清晰一些，入口頁被發現的几率也稳定一些。它不會让頁面被收錄或排名，但寫错了，确實能让一個已经搭好的池子白忙一场。