先分清“發現”與“收錄”
搜尋蜘蛛發現一個 URL，只代表它知道了這個地址的存在。發現之後，URL 通常要经過排队抓取、抓取响應、内容解析、质量與重复度评估等环节，才可能進入索引。任何一個环节卡住，都會表現為“好像發現了，但一直不收錄”。
從發現到收錄的常见卡点
1. 抓取排队與配額
入口頁上的連結再多，搜尋蜘蛛也要按自己的抓取配額来安排。新站、低權重站或抓取频次不稳定的站，目标 URL 可能長時間停在待抓取队列里。此时日誌里能看到入口頁被抓，但目标 URL 的抓取记錄很少。
2. 抓取时的响應問题
目标 URL 返回 5xx、超时、被防火墙拦截、被 CDN 返回舊缓存，都會让本次抓取失敗。连續失敗後，搜尋蜘蛛會降低回訪频率。建议先確認目标 URL 對搜尋蜘蛛返回的是稳定 200，且没有誤伤 UA。
3. 頁面自身設定了障碍
- robots.txt 或 meta robots 誤挡了目标 URL；
- canonical 指向了另一個頁面，搜尋蜘蛛可能把權重归到別處；
- 目标 URL 需要登入、Cookie 或表單才能看到内容；
- 主要内容靠 JavaScript 渲染，而搜尋蜘蛛拿到的初始 HTML 里没有有效信息。
4. 内容质量與重复度
如果目标 URL 和站内、站外大量頁面高度相似，或者只有采集拼凑的空壳内容，搜尋引擎可能抓取後不索引，或索引後很快剔除。蜘蛛池入口頁能帮忙發現 URL，但不能替代目标頁本身的内容價值。
5. 入口頁到目标 URL 的鏈路太绕
多层跳轉、短鏈、參數跳轉、JS 点击才出現的連結，都會增加搜尋蜘蛛跟丢的概率。入口頁最好用可抓取的普通連結直连目标 URL，减少中間层。
用日誌和抓取记錄做一次核對
不要只看入口頁的日誌，要分開看两個對象：入口頁有没有被抓，目标 URL 有没有被抓。可以按下面顺序排查：
- 在日誌里篩選目标 URL，確認搜尋蜘蛛是否訪問過，返回狀態碼是什么。
- 如果從未訪問，检查入口頁是否可訪問、連結是否可解析、是否被 robots 或 nofollow 挡住。
- 如果訪問過但返回非 200，先修服務器、防火墙和跳轉鏈。
- 如果返回 200 但一直不收錄，检查 canonical、meta robots、内容重复度和頁面完整度。
- 對比同一批目标 URL 中已收錄和未收錄的頁面，找出差异，而不是反复提交同一批地址。
發現是入口，抓取是過程，收錄是结果。我們能優化的是入口是否通畅、抓取是否顺利、頁面是否有獨立價值，而不是替搜尋引擎做收錄决定。
蜘蛛池入口頁可以做什么、不该做什么
入口頁适合做一件事：用可抓取的連結把目标 URL 暴露给搜尋蜘蛛。它不應该承担“保證收錄”的角色。比較稳妥的做法是：入口頁保持可訪問、連結直连、锚文本自然、目标 URL 本身可正常訪問且有獨立内容。目标 URL 很多时，分批、分入口、分時間放出，比一次性堆几千條連結更合理。
如果發現、抓取和頁面质量都没有明顯問题，剩下的就是等待搜尋引擎自己的评估周期。不同站点、不同内容類型的收錄速度差异很大，不必因為几天没收錄就频繁改連結结构或重复提交。