在蜘蛛池和入口頁的日常运营里，robots.txt 與 meta robots 是两個经常被提起、也经常被誤用的工具。有人担心入口頁被搜尋引擎收錄後暴露，于是用 robots.txt 一禁了之；也有人听说 nofollow 可以“传递權重”，就给所有外鏈加上。這些操作會不會影响搜尋蜘蛛對目标 URL 的發現？答案取决于你禁掉的是什么、以及搜尋蜘蛛還能從哪里获取信息。
robots.txt 控制的是抓取，不是收錄
先明确一個基本点：robots.txt 的主要作用是告诉搜尋蜘蛛哪些路径可以抓、哪些不可以抓。它不直接决定頁面是否被索引。如果入口頁被 robots.txt 禁止抓取，搜尋蜘蛛通常不會去讀取该頁面的 HTML，自然也就看不到頁面里的目标連結。但目标 URL 仍可能通過其他途径被發現，比如 sitemap、外部連結、主動提交或歷史抓取记錄。
所以，如果你的策略是依靠入口頁来“带路”，那么不要让 robots.txt 屏蔽入口頁本身。爬虫讀不到入口頁，里面的連結就失去了被發現的机會。
meta robots 的 noindex 與 nofollow 是两件事
meta robots 寫在頁面 HTML 的 head 里，常见指令有 noindex、nofollow、noarchive 等。很多人把 noindex 和 nofollow 混在一起，其實它們的作用不同。
- noindex：告诉搜尋蜘蛛不要將目前頁面作為搜尋结果展示。它通常不影响爬虫抓取頁面，也不影响爬虫繼續跟随頁面上的連結。也就是说，入口頁加了 noindex，搜尋蜘蛛仍可能讀取頁面並發現目标 URL，只是入口頁自己不被收錄。
- nofollow：告诉搜尋蜘蛛不要跟随頁面上的連結。這是一個提示性指令，不同搜尋引擎的遵守程度和执行细节不完全一致。對于希望入口頁帮助發現目标 URL 的场景，nofollow 會降低連結被跟随的概率。
- noindex, nofollow：既不让目前頁被索引，也不建议跟随連結。這種组合下，入口頁對目标 URL 的發現帮助會很有限。
另外，HTTP 响應头里的 X-Robots-Tag 也能實現類似控制，且優先級通常更高。如果服務器配置了 X-Robots-Tag: noindex，頁面里的 meta 标簽不一定能覆盖。
常见配置组合與影响
把 robots.txt 和 meta robots 放在一起看，可以梳理出几種典型情况：
- robots.txt 允许抓取 + meta 無限制：搜尋蜘蛛可以正常讀取入口頁，並跟随連結發現目标 URL。這是最顺畅的组合。
- robots.txt 允许抓取 + meta noindex：入口頁本身不收錄，但搜尋蜘蛛仍可能讀取並發現目标 URL。适合不想暴露入口頁、又想传递連結的场景，但要注意 noindex 不阻止抓取。
- robots.txt 允许抓取 + meta nofollow：入口頁可能被索引，但頁面上的連結被建议不跟随。目标 URL 的發現會受到影响，除非有其他来源。
- robots.txt 禁止抓取入口頁：搜尋蜘蛛通常不會讀取入口頁内容，頁面里的目标連結基本無法通過该頁被發現。即使目标 URL 通過其他方式被收錄，也與這個入口頁無關。
需要提醒的是，robots.txt 禁止抓取並不等于頁面绝對不會出現在搜尋结果里。如果其他頁面連結指向它，搜尋引擎仍可能根據外部信息生成一個摘要。但這種情况對“主動發現目标 URL”没有帮助。
自查：入口頁到底有没有被正常讀取
如果你不确定目前配置是否挡住了搜尋蜘蛛，可以從几個方面检查：
- 直接訪問入口頁的 robots.txt 文件，確認没有 Disallow 掉入口頁所在路径。
- 使用搜尋引擎官方提供的 robots.txt 測試工具，輸入入口頁 URL，看是否被允许抓取。
- 查看頁面 HTTP 响應头，確認没有意外的 X-Robots-Tag 限制。
- 检查頁面 HTML 里的 meta robots 标簽，確認没有誤加 nofollow。
- 观察服務器日誌中搜尋蜘蛛對入口頁的請求，以及後續是否出現對目标 URL 的請求。日誌能反映實际抓取行為，比猜测更可靠。
如果發現入口頁被屏蔽，而你又希望它承担發現目标 URL 的作用，就需要調整 robots.txt 或 meta 指令。調整後给搜尋引擎一些時間重新抓取，不要频繁改動，以免造成抓取不稳定。
小结
robots.txt 和 meta robots 本身不是“坏東西”，關键在于用對地方。想靠入口頁發現目标 URL，至少要保證搜尋蜘蛛能抓到入口頁，並且頁面上的連結没有被明确禁止跟随。至于目标 URL 最终是否被收錄、排名如何，還取决于内容质量、站点整体情况和搜尋引擎的判断，不是配置一個标簽就能决定的。把抓取通道理顺，剩下的交给時間和持續运营。