很多人在投放蜘蛛池时，把注意力放在入口頁數量、連結位置、投放频率上，却很少先看一眼目标站自己的 robots.txt。搜尋蜘蛛在抓取一個站点之前，通常會先請求该站点的 robots.txt，再根據里面的規則决定哪些 URL 可以抓、哪些不能抓。如果目标 URL 被明确禁止抓取，那么入口頁上的連結就算被蜘蛛發現了，它也可能不會去抓目标頁面。
搜尋蜘蛛遇到 robots.txt 會怎么做？
主流搜尋引擎的蜘蛛基本都會遵守 robots.txt 协议。流程大致是：先訪問 目标站/robots.txt，讀取 User-agent 分组和 Disallow、Allow 規則；如果目标 URL 命中禁止規則，蜘蛛會跳過该 URL，不再請求頁面内容。注意，robots.txt 是抓取协议，不是安全措施，但它對正規搜尋蜘蛛有约束力。
三種常见情况
1. 目标 URL 被明确禁止抓取
如果 robots.txt 里寫了 Disallow: / 或禁止了目标 URL 所在目錄，例如 Disallow: /private/，那么蜘蛛池入口頁上的連結即使被發現，蜘蛛也不會去抓目标 URL。此时繼續投放，對 URL 發現和抓取没有直接帮助。更合理的做法是先修改 robots.txt 放行目标路径，再考虑投放。
2. 只禁止了部分目錄或參數
有些站点没有整站禁止，而是禁止了带問号的動態參數、後台路径或篩選目錄。你的目标 URL 如果恰好落在這些規則里，同样會被挡。需要具体核對規則，注意通配符和结尾符号的寫法，不要只看一眼觉得“没禁止整站”就放心。
3. robots.txt 禁止了蜘蛛池入口頁
如果入口頁本身被 robots.txt 禁止抓取，搜尋蜘蛛可能不會訪問入口頁，入口頁上的連結自然也無法被發現。這種情况要先保證入口頁可正常抓取，再谈目标 URL 的發現。
投放前建议检查清單
- 直接訪問目标站的 robots.txt，確認目标 URL 路径没有被 Disallow。
- 检查 User-agent 分组，是否针對特定搜尋蜘蛛做了限制。
- 注意 crawl-delay 指令，它不禁止抓取，但會降低抓取频率。
- 如果目标 URL 分散在多個子域名，每個子域名下的 robots.txt 要分別查看。
- 用搜尋引擎提供的 robots.txt 測試工具模拟目标 URL，看是否被允许。
robots.txt 和 noindex 不要混淆
robots.txt 控制的是“能不能抓取”，noindex 控制的是“能不能索引”。如果頁面被 robots.txt 禁止抓取，搜尋引擎就看不到頁面上的 noindex 标簽，反而可能因為外部連結而索引该 URL，只是没有摘要。對于蜘蛛池投放来说，如果目标頁被 robots.txt 禁止抓取，蜘蛛不會請求頁面，也就無法通過頁面内容判断质量，URL 發現和後續抓取都會受限。
如果确實需要抓取，應该怎么做？
- 先修改 robots.txt，放行目标 URL 所在路径。
- 确保入口頁可正常訪問，没有被服務器防火墙或 CDN 拦截。
- 投放後观察抓取日誌，確認搜尋蜘蛛是否請求了目标 URL。
- 如果日誌里只有入口頁、没有目标頁，優先排查 robots.txt 和服務器拦截，而不是繼續加投放量。
- 配合站点地图或 URL 提交工具，帮助搜尋蜘蛛發現頁面，但不要承诺收錄或排名。
小结
蜘蛛池的價值在于给搜尋蜘蛛提供發現 URL 的入口，但它不能绕過目标站自己的抓取規則。遇到 robots.txt 禁止抓取，先解决規則問题，再谈投放。否則入口頁再多，蜘蛛也可能在门口止步。
提示：不要试图用蜘蛛池去抓取被 robots.txt 禁止的頁面，這既不符合搜尋引擎抓取規范，通常也得不到有效结果。