搭蜘蛛池的人常把注意力全放在目标 URL 上，却忽略一個前提：入口頁本身也得先被搜尋蜘蛛訪問過。如果连入口頁都没進過抓取队列，頁面上寫得再整齐的連結，也只是躺在服務器上的一串文本。
搜尋蜘蛛發現連結的基本鏈路
搜尋蜘蛛不會凭空掃描互联網。它的工作方式是從一批已经知道的 URL 出發，抓取頁面，再從 HTML 里解析出新的連結，把新連結放進待抓取队列。整條鏈路大致是：已知 URL → 抓取 → 解析連結 → 入队 → 再抓取。
把這個鏈路套到蜘蛛池上，入口頁扮演的是中間那一步。它必须满足两個條件才可能起作用：一是入口頁自己出現在某個已知 URL 的連結图里，二是入口頁返回的内容能被正常解析出連結。
入口頁自己没被爬過的常见原因
- 入口頁是孤岛：既没有外鏈指向，也没有任何已被抓取的頁面鏈到它，sitemap 里也没有它。
- 入口頁所在域名本身從未被搜尋蜘蛛訪問過，入口頁自然無從谈起。
- robots.txt 或服務器配置把入口頁挡在外面，蜘蛛請求到一半就被拒绝。
- 服務器频繁返回 5xx、人机驗證頁或要求登入，蜘蛛拿到的是错誤頁而不是連結列表。
- 入口頁的連結依赖 JavaScript 渲染，蜘蛛取到的初始 HTML 里什么都没有。
- 入口頁藏在需要提交表單、点击按钮才出現的路径後面，蜘蛛不會主動去点。
让入口頁進入抓取范围的几個動作
- 先確認入口頁所在域名至少有一個能正常訪問的首頁，且没有被 robots.txt 全面屏蔽。
- 给入口頁做一份包含它的 sitemap，並通過站点驗證渠道提交。
- 從已经能被抓取的頁面上放一條指向入口頁的普通 HTML 連結，让它有明确的入站路径。
- 保持入口頁稳定返回 200，响應時間別拖太久，避免蜘蛛反复超时。
- 隔几天看一次服務器日誌，確認入口頁 URL 真的出現在蜘蛛請求里。
這几步不复杂，但顺序不能反。先解决入口頁能不能被訪問，再谈頁面上挂多少目标 URL。
入口頁被抓過，不等于目标 URL 马上被抓
入口頁被訪問，只是把目标 URL 送進了待抓取队列，队列里的地址還要排队。搜尋蜘蛛會结合站点整体质量、頁面更新频率、歷史抓取表現来分配抓取预算。同一個入口頁上挂几十個連結和挂几百個連結，實际被抓走的比例往往差別很大。
比較務實的判断方式是看趋势：入口頁被抓的次數、目标 URL 被抓的條數、日誌里 4xx 與 5xx 的比例。這几項是往上走的，說明鏈路在通；如果入口頁本身都很少出現在日誌里，那問题還在更前面一层。
自查时的两個關键信号
- 入口頁 URL 是否出現在蜘蛛日誌中，出現频次是否稳定。
- 日誌里是否出現了目标 URL 的抓取請求，而不只是入口頁被訪問。
入口頁更像是一條路，不是收錄本身。路修通了，车走不走、走多少辆，還取决于目的地和整体路况。
蜘蛛池能降低 URL 被發現的门槛，但發現只是第一步。入口頁自身可訪問、可解析、有入站路径，是整件事能否成立的基础。先把這一层做扎實，再考虑入口頁數量、連結密度這些進阶問题，才不容易白忙一场。