做蜘蛛池的人经常會遇到一種情况：入口頁本身不被收錄，甚至整站索引量長期為零，但目标 URL 又确實偶尔被抓到。這时候很多人會纠结，入口頁到底還有没有用。要回答這個問题，得先把「抓取」和「收錄」两件事拆開看。
抓取和收錄是两條不同的鏈路
搜尋蜘蛛訪問一個頁面，先决定抓不抓，再决定收不收。這两個判断的标准並不完全一样。一個頁面可能被抓取但不進入索引，也可能長期不被抓取。入口頁的核心作用是提供一條指向目标 URL 的連結路径，让搜尋蜘蛛有机會知道這個 URL 存在，它承担的是「發現」的职能，而不是直接决定目标頁最终能不能被收錄。
入口頁不被收錄，里面的連結還會被跟随吗
多數情况下會。搜尋蜘蛛抓到入口頁的 HTML 後，會解析頁面里的 a 标簽連結，把這些 URL 放進待抓取队列。頁面自身有没有進索引，通常不直接阻止連結被跟随。真正會阻断跟随的是另外几件事，比如連結寫了 nofollow、連結只在脚本執行时才插入而蜘蛛没有执行脚本、或者頁面本身根本抓不到。
noindex 和 nofollow 是两回事
noindex 表達的是這一頁不要放進索引结果，nofollow 表達的是不要顺着這個連結往下走。给入口頁加 noindex，一般不會让頁面里的連結失效；但如果同时對單條連結加了 nofollow，或者整頁设了 nofollow，這條路径基本就断了。很多人把這两個标簽的作用搞混，结果改错了地方。
什么情况會真的拖累目标 URL 的發現
入口頁不被索引本身影响有限，但如果出現下面這些情况，發現效率就會明顯下降：
- 整個域名被 robots.txt 屏蔽，搜尋蜘蛛连入口頁都進不来；
- 入口頁大面积返回 404、500 或長時間超时，蜘蛛回訪频率被压低；
- 入口頁被 CDN、防火墙或安全策略持續拦截，抓取請求根本到不了源站；
- 入口頁内容几乎為空或者完全是模板拼凑，蜘蛛抓一次之後不再回訪；
- 所有入口集中在同一個域名、同一套模板上，一旦這個域名被抓取受限，整批目标 URL 的發現都會受影响。
換句话说，影响目标 URL 發現的關键，是入口頁能不能被抓到、會不會被反复訪問，而不是它有没有出現在搜尋结果里。
怎么判断問题出在哪一层
- 先看服務器日誌，確認搜尋蜘蛛有没有真實訪問過入口頁，返回碼是什么；
- 再看搜尋资源平台里的抓取統計，判断是完全没有抓取，還是抓了但频次很低；
- 检查 robots.txt、meta robots 和 X-Robots-Tag 响應头，確認有没有誤设規則；
- 用抓取工具模拟一次，看 HTML 里連結是否正确輸出、有没有被脚本或样式干扰；
- 如果入口頁狀態長期異常，可以补充其他發現渠道，比如 sitemap 或換用其他域名的入口頁。
入口頁不被收錄时，還要不要繼續维護
如果目标只是让搜尋蜘蛛知道目标 URL 存在，入口頁即使不收錄也仍有價值，前提是它能被稳定抓取。但如果入口頁長期抓取频次极低、错誤率又高，那它作為發現通道的實际作用就很有限了。這时把精力放在修复可訪問性和分散入口来源上，比反复折腾入口頁内容更實际。
入口頁决定的是目标 URL 有没有机會被發現，不是目标 URL 一定會被收錄。發現只是第一步，後續能不能收錄、表現如何，還取决于目标頁自身的内容质量、可訪問性和整体站点情况，没有任何一種入口頁做法可以替代這些基本條件。