做蜘蛛池或入口頁时，经常遇到一個困惑：入口頁里放了目标 URL 的連結，搜尋蜘蛛也来爬入口頁了，但目标 URL 自己却無法被抓取。如果目标 URL 所在站点在 robots.txt 里屏蔽了它，入口頁連結還有意义吗？答案要分两层看。
先说结论：入口頁發現連結，不等于目标 URL 能被抓取
搜尋蜘蛛在入口頁看到連結後，通常會把目标 URL 记下来，進入待抓取队列。但在真正請求目标 URL 之前，它會先检查目标 URL 所在站点的 robots.txt，以及頁面上的 meta robots、HTTP 头里的 X-Robots-Tag。如果目标 URL 被這些規則屏蔽，搜尋蜘蛛大概率不會抓取，自然也谈不上後續索引。
蜘蛛池入口頁只是“發現渠道”，不能绕過目标 URL 自己的抓取規則。這一点很關键，很多入口頁優化之所以没有效果，不是連結没被發現，而是目标 URL 本身就不让抓。
入口頁連結還能起到哪些作用
- 帮助搜尋蜘蛛發現目标 URL，让它進入待抓取队列，起到“报信”作用。
- 如果目标 URL 之後解除屏蔽，之前已经發現的連結可能让搜尋蜘蛛更快重新检查。
- 便于自己通過服務器日誌排查抓取路径，確認蜘蛛有没有訪問過入口頁和目标 URL。
- 若目标 URL 長期被屏蔽，這些作用非常有限，入口頁再優化也难以改變结果。
搜尋蜘蛛遇到被屏蔽的目标 URL 时，通常怎么走
- 在入口頁 HTML 里發現連結，记錄 URL 和来源頁面。
- 請求目标 URL 前，检查目标站点的 robots.txt 規則。
- 如果路径被 Disallow 匹配，一般會放弃抓取该 URL。
- 如果之前抓取過，後續也可能逐步降低抓取频率，甚至從索引中移除。
- 如果目标 URL 是 noindex，蜘蛛可能仍會抓取，但不會把它放進索引。
注意：robots.txt 主要管“能不能抓”，noindex 主要管“能不能索引”。两者作用不同，排查时不要混在一起看。
排查顺序：先看目标 URL，再看入口頁
- 打開目标站点的 robots.txt，確認目标 URL 路径是否被 Disallow。
- 检查目标頁面的 meta robots 标簽，以及 HTTP 响應头里的 X-Robots-Tag。
- 確認目标 URL 是否需要登入、驗證碼、特定地域或特定 UA 才能訪問。
- 確認目标 URL 能稳定返回 200，内容不要频繁變化或大面积空白。
- 最後再检查蜘蛛池入口頁的連結是否可被抓取，比如有没有被 nofollow、JS 隐藏、iframe 包裹等。
如果目标 URL 是別人的站点，你無法修改對方 robots.txt，入口頁連結基本解决不了抓取問题。如果是自己的站点，優先修正 robots 配置和頁面可訪問性，再考虑用入口頁去暴露連結。
什么时候该放弃這種鏈路
- 目标 URL 長期被 robots.txt 屏蔽，且你無法調整。
- 目标 URL 必须登入或强驗證才能訪問，搜尋蜘蛛無法正常請求。
- 入口頁只是大量堆砌連結，没有實际内容，蜘蛛来一次後不再重视。
- 指望用蜘蛛池绕過目标站的抓取規則，這不現實，也不建议。
實務建议
把蜘蛛池入口頁当成“让搜尋蜘蛛知道有這個 URL”的辅助手段，而不是萬能通道。先确保目标 URL 對搜尋蜘蛛可抓取、可訪問、内容有持續價值，再谈發現和後續的索引表現。日常可以定期查看服務器日誌，確認搜尋蜘蛛是否真的請求了目标 URL，而不是只看入口頁有没有被抓。
简單说，入口頁連結有意义，但它的意义受限于目标 URL 自身的抓取權限。目标 URL 被 robots.txt 屏蔽时，先修目标 URL，再谈入口頁，顺序反了就容易白忙。