做蜘蛛池或入口頁时，常會遇到一種情况：日誌里能看到搜尋蜘蛛訪問入口頁，連結也放上去了，但目标 URL 迟迟没有抓取记錄。有人會立刻加更多入口頁，结果還是没變化。要判断問题，先分清“發現”和“抓取”是两件事。
發現只是進入队列，不代表马上抓
搜尋引擎發現 URL 的途径包括站内連結、外部連結、sitemap、主動提交等。發現之後，URL 會進入待抓取队列，再按一定優先級安排抓取。队列長度、站点抓取配額、頁面质量都會影响等待時間。入口頁如果本身權重低、更新少，里面的連結可能長期排在後面。
常见的卡点有哪些
- 抓取配額限制：搜尋引擎给每個站点分配的抓取资源有限，入口頁消耗過多时，目标站不一定能分到。
- 入口頁不稳定：响應慢、频繁超时或返回 5xx，會让蜘蛛降低訪問频率，已發現的 URL 也會延後。
- robots 或 meta 限制：入口頁或目标 URL 被 robots.txt 屏蔽，可能只记錄不抓取。
- 目标站自身問题：目标 URL 返回错誤碼、加载极慢、内容為空，蜘蛛可能抓一次就放弃。
- 連結形式：JS 渲染、nofollow、隐藏連結等主要影响“能否發現”；一旦進入队列，位置更多影响優先級，而不是决定抓不抓。
怎么判断卡在哪一步
- 看入口頁日誌：有蜘蛛訪問入口頁，但目标 URL 没有任何請求，說明可能卡在队列，或目标站不可達。
- 看站長平台：搜尋资源平台里能看到 URL 是否已被發現、是否已抓取、是否收錄。
- 手動驗證：直接訪問目标 URL，检查狀態碼、响應時間、robots.txt 是否允许抓取。
- 對比多個入口頁：如果同一個目标 URL 在多個入口頁出現，仍然没有抓取，問题更可能在目标站或配額，而不是入口頁數量。
可以做的調整
與其繼續堆入口頁，不如先保證入口頁能稳定打開、連結真實可達、目标站响應正常。给重要 URL 补充 sitemap 和站内連結，增加發現路径；同时控制入口頁數量，避免把抓取配額耗在低價值頁面上。
發現不等于抓取，抓取也不等于收錄。排查时先把這两步分開看，再决定是否增加入口頁。
一個容易混淆的情况
有些 URL 已经被搜尋引擎记錄，但被判定為低價值或重复，抓取會被無限延後。這種情况下，繼續加入口頁通常不會改變结果，反而可能让入口頁本身被视為低质頁面。
總结一下：入口頁連結没被抓紧，先查目标站可訪問性和抓取配額，再查入口頁稳定性和連結形式。把“發現”和“抓取”拆開，排查會清晰很多。