做蜘蛛池或运营站点时，常會遇到一個矛盾：入口頁本身不希望被收錄，甚至在 robots.txt 里直接 Disallow 掉了，却又指望搜尋蜘蛛顺着入口頁上的連結去發現目标 URL。這條路径到底還通不通？
先说结论
在绝大多數情况下，入口頁被 robots.txt 禁止抓取後，搜尋蜘蛛不會去讀取這個頁面上的連結，靠它来發現目标 URL 的鏈路基本就断了。原因是 URL 發現的前提是「先抓到頁面，再解析頁面里的連結」，頁面本身抓不了，連結自然也就無從提取。
還要留意一点：robots.txt 管的是「能不能抓」，不是「能不能收錄」。禁止抓取不等于刪除已收錄结果，也不等于能让目标 URL 更容易被收錄，這两件事经常被混為一谈。
為什么禁止抓取會切断 URL 發現
搜尋蜘蛛的大致工作顺序是：讀取 robots.txt，判断某個 URL 是否允许抓取，允许才下载頁面，再從頁面 HTML 里抽取連結加入待抓取队列。入口頁一旦在第一步就被拦下，後面的抽取動作不會發生，目标 URL 也就不會因為「被入口頁連結」而進入队列。
個別情况下，蜘蛛可能通過外鏈、sitemap、歷史資料等其他渠道已经知道目标 URL 存在，但那已经不是入口頁的功劳了。
几種容易混淆的情形
- 入口頁整体被 Disallow：頁面上的連結根本無法被讀取，URL 發現路径中断。
- 入口頁可抓，目标 URL 所在目錄被 Disallow：蜘蛛能讀到連結，也可能把 URL 记下来，但不會去抓取，狀態往往長期停在「已發現未抓取」。
- 入口頁可抓，只有目标 URL 單條被 Disallow：情况同上，連結可见但無法抓取。
- robots.txt 用了通配符，誤伤入口頁或目标目錄：表面看只屏蔽了某個參數，實际把整段路径都挡掉了，這是很常见的坑。
几個常见的誤区
把 robots.txt 当成「不收錄」開關
Disallow 只阻止抓取。如果頁面已经被抓取過且没有 noindex，它仍可能出現在搜尋结果里，只是摘要内容可能過时。想控制收錄應该用 noindex，而不是 Disallow。
只屏蔽了目錄，没检查具体連結
入口頁路径允许抓取，但頁面上的連結指向被禁目錄，蜘蛛讀到了連結却抓不了，等于白發現。排查时要同时看入口頁路径和目标 URL 路径。
規則寫错導致整站被挡
比如誤寫成 Disallow: /，或者 User-agent 寫错、規則顺序混乱，都可能让蜘蛛连入口頁都不抓。改完 robots.txt 後，最好用搜尋引擎官方提供的 robots.txt 測試工具核對一遍。
可以按這個顺序排查
- 打開 robots.txt，逐條核對入口頁路径、目标 URL 路径是否被禁止。
- 用測試工具或日誌確認蜘蛛是否真的在抓入口頁，抓取频次是否正常。
- 查看服務端日誌里入口頁的响應碼，以及目标 URL 是否有被抓取记錄。
- 检查頁面 HTML 源碼，確認連結是真實存在的 a 标簽，而不是纯 JS 渲染出来的。
- 如果入口頁正常可抓但目标 URL 長期不被抓，再看目标頁本身是否响應慢、是否返回異常狀態碼。
既要隐藏入口頁，又想做 URL 發現怎么办
- 把入口頁改成可抓取，但加上 noindex，這样連結能被讀取，頁面本身不進索引。
- 入口頁放在 robots.txt 允许的目錄下，避免整段路径被規則誤伤。
- 用 sitemap 直接提交目标 URL，作為入口頁之外的补充渠道。
- 把連結放在站内其他可抓取、内容相對稳定的頁面里，不要只依赖單一入口。
robots.txt 是抓取许可清單，不是收錄開關。任何靠「屏蔽入口頁 + 連結传递」来做 URL 發現的方案，本质上都是在和抓取規則對抗，效果不稳定，也不建议長期依赖。
最後提醒一句：以上只是抓取與發現层面的机制說明，具体到某個站會不會被收錄、什么时候被收錄，還受内容质量、站点整体情况、竞争环境等多方面影响，没有人能保證结果。與其反复试探規則邊界，不如把入口頁和内容本身做得干净、可抓、更新正常。