做蜘蛛池的人常遇到一種情况：入口頁正常、連結也放對了，但目标URL 始终不见抓取记錄。排查到最後才發現，目标站自己的 robots.txt 里有條 Disallow，把整站或某個目錄挡住了。這时候問题已经不在蜘蛛池這一侧了。
先把發現、抓取、索引三件事分開
這三件事经常被混在一起说，但它們的负责人完全不同：
- 發現：搜尋引擎從某個頁面拿到一個 URL，知道它存在。蜘蛛池主要作用在這一层。
- 抓取：爬虫真正去請求這個 URL，拿到狀態碼和内容。這一步受 robots.txt、服務器狀態、抓取预算影响。
- 索引：抓到的内容经過處理進入索引库。這一步由搜尋引擎自己判断，外部無法直接决定。
蜘蛛池能做的是让發現這一步發生得更频繁一些，但它不改變後两步的規則。把這一点记住，很多排查就能少走弯路。
發現不等于抓取，抓取不等于索引。這是排查 URL 問题时最容易混淆的一條线。
目标站的 robots.txt 會拦住抓取
robots.txt 是放在被抓取站点根目錄下的文件，遵守协议的爬虫在請求之前會先讀取它。如果目标URL 落在 Disallow 范围内，即使爬虫已经從入口頁知道了這個地址，也不會發起抓取請求。目标站日誌里看不到請求，索引里自然也不會有。
這里有個容易忽略的细节：robots.txt 拦的是抓取，不是發現。所以 URL 仍然可能以某種形式出現在结果里，只是缺少描述和快照，或者干脆不展示。不少人因此誤以為頁面已经被索引，其實是两回事。
入口頁的 robots.txt 是另一份文件
入口頁自己所在的域名也有一份 robots.txt。如果入口頁被 Disallow，爬虫根本讀不到頁面内容，連結自然也拿不到。這两份文件互不替代，需要分別確認，而不是只看其中一份就下结论。
几種常见情况怎么判断
- 目标站整站 Disallow：爬虫完全不請求目标URL。此时蜘蛛池带来的發現没有出口，應该先去目标站處理 robots 設定。
- 只屏蔽了部分目錄：未被屏蔽的頁面仍可能被抓取，可以優先把入口頁的連結指向可抓取的路径。
- robots.txt 寫错或返回 5xx：不同爬虫的處理方式不完全一致，有的會短暂保守處理。建议先让這個文件稳定返回 200，且内容没有明顯语法問题。
- 入口頁自己被 Disallow：換一個可抓取的入口頁，或者調整入口頁自身的 robots 設定，再观察日誌。
怎么快速確認
- 直接訪問目标站根目錄的 robots.txt，逐行看 User-agent 和 Disallow 的寫法。
- 翻目标站服務器日誌，看有没有爬虫請求。没有請求，比有請求但没索引更值得警惕。
- 用搜尋引擎自带的 URL 检查工具看抓取狀態，通常能直接提示是否被 robots 拦下。
- 對照入口頁日誌，確認爬虫确實来過入口頁，也确實看到了那條連結。
几個容易踩的坑
第一，robots.txt 只對遵守协议的爬虫有效，但它依然是排查的第一站。第二，一邊把目标URL 寫進 Disallow，一邊希望通過蜘蛛池让頁面被抓取，這两件事本身互相矛盾。第三，入口頁數量再多、更新再勤，也改變不了目标站自身的抓取许可。第四，如果目标URL 返回 404，或者重定向到了別的地址，即使在允许抓取的范围内，爬虫拿到的也不是你期望的内容。
總结一下：蜘蛛池管的是發現，robots.txt 管的是抓取许可，索引由搜尋引擎自己决定。目标URL 被 robots 拦住时，先修目标站，再谈入口頁怎么安排。