入口頁的訪問日誌里每天都有搜尋蜘蛛的痕迹，可目标 URL 那邊始终没有抓取记錄，這是做蜘蛛池时最常遇到的困惑之一。問题往往不在入口頁，而在于連結被發現和連結被安排抓取之間，還隔着一段等待。
發現連結只是第一步
搜尋蜘蛛打開入口頁时，會先解析 HTML、提取其中的連結，把它們放進待抓取队列。這個過程只說明它知道了這個地址，並不等于马上會去請求。真正决定什么时候抓、抓多少次的是抓取調度，而調度依據的是待處理 URL 的整体規模、目标站点的响應反馈、服務器负载等一堆信号。
所以看到入口頁被正常抓取，只能說明入口頁本身可達、可解析，不能推出目标 URL 马上會被訪問。
排队顺序通常受這几個變量影响
- 入口頁的抓取频率：被訪問得越稳定、越频繁的入口頁，其新連結被重新解析的机會也越多。
- 目标 URL 所在域名的整体表現：如果目标站响應慢、经常超时或返回異常狀態，調度會把它的抓取节奏压下来。
- 連結在頁面中的位置：正文和導航里的連結，通常比頁脚几十上百條堆在一起的連結更容易被優先處理。
- 連結是否重复：同一目标 URL 在短時間内被大量入口頁反复寫入，不會加快抓取，反而可能被去重机制当成同一個待办項。
- 目标站的抓取規則：robots.txt 屏蔽、WAF 拦截、需要登入才能訪問的内容，都會让抓取中断或延後。
連結位置為什么有影响
頁面里連結越多、越集中，單條連結分到的處理權重就越低。一頁塞几百條外鏈，理论上都在队列里，但實际被優先調度的往往是位置靠前、上下文更明确的那几條。這点和入口頁的内容结构有關，和入口頁數量關系不大。
怎么判断是没發現還是没轮到
- 先確認入口頁日誌里确實有搜尋蜘蛛訪問，且訪問的是包含该連結的那個版本。
- 再看目标站的服務器日誌，看有没有来自搜尋蜘蛛的請求，哪怕只是返回 403 或超时。
- 如果目标站有請求记錄但狀態異常，優先修目标站，而不是繼續加入口頁。
- 如果目标站完全没有請求，說明連結還停在队列里，可以观察一到两周，看是否出現零星抓取。
- 必要时把目标 URL 單獨提交一次，观察後續日誌變化，作為對照。
几個常见的誤判
- 把入口頁被反复抓取当成連結已被接受。入口頁的抓取次數反映的是入口頁本身的狀態。
- 發現没動静就频繁更換入口頁連結，導致同一目标 URL 不断以新形式出現，打乱原有的排队记錄。
- 只盯着入口頁日誌，不看目标站日誌，把目标站自己的拦截当成了蜘蛛没来。
入口頁解决的是让地址被看到，抓取和收錄由搜尋方按自己的規則决定。工具和方法只能提高被看到的概率，不能保證结果。
可以做的准备
把入口頁做稳定、响應快、連結结构清晰，比不断堆數量更有意义；目标站這邊則要保證可訪問、返回正常、robots 設定合理。两邊都正常时，剩下的就是等待和观察日誌，而不是频繁調整。
如果几周後目标站日誌里仍然没有任何搜尋蜘蛛的請求，再回头检查連結是否真的被解析、目标站是否對外可訪問，通常比繼續加入口頁更有效。