做 URL 發現投放之前，多數人會检查入口頁是否正常、連結是否可点，却很少回头確認一件事：目标 URL 本身是否允许被抓取、被索引。如果站点在 robots.txt 或頁面层面已经做了屏蔽，投放再积极也很难得到想要的结果。
先分清两種限制：不让抓 和 不让索引
這两件事经常被混為一谈，但结果完全不同。
- 不让抓取：robots.txt 里的 Disallow 規則、服務器层面的抓取限速、WAF 拦截等，會让搜尋蜘蛛连請求都不發出，日誌里通常看不到這條 URL 的訪問记錄。
- 不让索引：頁面的 meta robots noindex、HTTP 响應头里的 X-Robots-Tag，允许抓取但不允许進索引。抓取日誌里可能有记錄，搜尋结果里却不會出現。
投放解决的是“让蜘蛛知道這個 URL 存在”，它改變不了站点自己设下的規則。規則没解除，投放能起的作用就很有限。
抓取被屏蔽时，日誌會是什么样
如果目标路径在 robots.txt 里被 Disallow，常见現象是：入口頁被抓了，蜘蛛顺着連結找到了目标 URL，但不會真正請求它。日誌里出現的是入口頁的记錄，目标 URL 那一行始终空着。
這时候不要急着加大投放量或換入口頁，先確認是不是 robots 規則在起作用。用搜尋引擎官方提供的 robots.txt 測試工具，直接輸入目标 URL 驗證一下，比翻文档快得多。
索引被屏蔽时，抓取可能正常但不收錄
noindex 的情况更隐蔽：蜘蛛會来抓，服務器日誌看着很正常，甚至抓取频次不低，但搜尋结果里就是没有。原因往往不在投放，而在頁面自己的指令。
需要留意几處容易漏掉的地方：
- 頁面 HTML 里的 meta robots 标簽；
- HTTP 响應头中的 X-Robots-Tag，尤其是 PDF、图片等非 HTML 文件常用這種方式；
- CDN 或反向代理层统一加上的响應头或 robots 規則；
- canonical 指向了另一個 URL，導致目前頁面被当作重复版本處理。
投放前的检查顺序
- 用 robots 測試工具驗證目标 URL 是否可抓取，不要只看首頁；
- 查看目标頁面的 meta robots 與响應头，確認没有 noindex；
- 確認目标 URL 返回的是 200，而不是 301、302、403 或 404；
- 確認不是登入後才可见的頁面，或纯靠 JS 渲染且未做预渲染的内容；
- 確認 canonical 指向自己，而不是指向別的頁面。
這几步做完，再决定要不要投放，能省掉很多“投了没反應”的困惑。
两個常见誤区
- 以為蜘蛛池能绕過 robots.txt。遵守 robots 規則是主流搜尋蜘蛛的基本行為，投放不會让它突破站点自身的設定。
- 先投放，等發現没效果再改設定。屏蔽狀態下投放，除了浪費资源，還會让你對效果产生错誤判断。顺序應该是先放行，再投放。
投放解决的是“如何被發現”，站点設定决定的是“是否允许被訪問”。後者是前提，不是可選項。
如果确實需要屏蔽，又想让部分頁面被發現
比較稳妥的做法是缩小屏蔽范围：只對确實不需要公開的目錄做 Disallow 或 noindex，把希望被發現的内容放出来，再针對這些 URL 做投放。調整後不要期待立刻见效，给抓取和重新處理留出時間，同时用日誌观察蜘蛛是否真的開始請求這些地址。
最後提醒一点：配置改動之後，不同搜尋引擎的生效速度不一样，观察周期要给够。投放只是把入口打開，蜘蛛什么时候走進来，仍然由它自己的調度决定。