投放蜘蛛池後，服務器日誌里能看到搜尋蜘蛛来過，但抓的全是入口頁，目标URL几乎没有记錄。這種情况在URL發現里很常见。先別急着加投放量，多數时候不是蜘蛛没来，而是從入口頁到目标頁的通路没有真正打通。
先確認目标URL是不是真的可發現
搜尋蜘蛛跟進連結，第一步是能在HTML源碼里看到它。如果連結只存在于JavaScript交互、按钮、表單或者异步加载之後，蜘蛛不一定能走到目标頁。
- 入口頁里的連結要寫成普通的 a href，而不是 onclick 跳轉、按钮或表單提交。
- 检查連結是否被 nofollow、robots 的 nofollow 或頁面級限制挡住。
- 確認入口頁對蜘蛛没有返回驗證頁、空頁或差异内容。
- 連結要在首屏HTML源碼中，而不是脚本执行後才出現。
最简單的驗證办法，是用抓取工具模拟蜘蛛請求一次入口頁，直接看返回的源碼里有没有目标URL。如果源碼里没有，蜘蛛自然看不到。
入口頁自身质量太差，蜘蛛没有繼續走的動力
蜘蛛池入口頁如果只是几個連結堆在一起，没有主题、没有上下文，蜘蛛抓到後可能只记錄入口，不深入。它需要判断這個頁面是否值得繼續消耗抓取资源。
- 入口頁的标题、正文和锚文本是否與目标頁相關。
- 頁面是否大量重复模板，站群特征過于明顯。
- 入口頁本身是否被降權或長期没有更新。
- 單個入口頁上的連結數量是否太多，導致每個連結分到的權重很低。
入口頁不需要做成内容站，但至少要有一個明确的主题，让蜘蛛知道這個頁面的連結指向什么方向。纯連結列表的效果通常不稳定。
抓取预算和連結层級也會影响是否跟進
即使連結能被發現，蜘蛛也有抓取预算。目标頁层級太深、入口頁連結太多、目标站响應慢，都會让蜘蛛先放弃目标URL。
- 目标URL离入口頁是否超過三层，层級越深越容易被跳過。
- 同一入口頁是否放了成百上千個連結，蜘蛛可能只抓一部分。
- 目标站服務器是否稳定，超时和错誤率會不會让蜘蛛降低抓取频率。
- 目标URL是否返回 404、500、软404 或空内容，狀態異常會直接打断跟進。
可以把目标URL按重要程度分成几批，入口頁連結也做相應控制。先让蜘蛛能稳定抓到一批，再考虑扩大數量。
用日誌和回查做驗證
不要凭感觉判断蜘蛛有没有跟進。看服務器日誌里目标URL的訪問记錄，重点看 User-Agent、狀態碼和抓取時間。如果入口頁有蜘蛛，目标頁没有，就要把注意力放在入口頁到目标頁的連結和响應上。
- 篩選搜尋引擎蜘蛛的 User-Agent，確認入口頁抓取记錄。
- 看入口頁返回狀態是否正常，内容是否完整。
- 看目标URL是否出現在日誌里，哪怕只有一次。
- 模拟蜘蛛請求入口頁，检查連結是否在源碼中、是否可点击。
如果目标URL被蜘蛛訪問過，但狀態碼是 301、404 或 500，先修正目标頁本身，再繼續投放。如果完全没有訪問记錄，問题更可能在入口頁連結或抓取预算上。
調整时先做小批量測試
不要一次性把量加大。選一小批入口頁和目标URL，修正連結形式、减少單頁連結數量、提升入口頁内容相關性，再观察日誌。如果目标頁開始被零星抓取，說明通路初步打通，再逐步增加投放。
抓取是收錄的前置條件，但不等于收錄。看到目标頁被抓，只能說明路径通了，是否收錄還取决于内容质量、重复度和站点整体情况。
蜘蛛只抓入口頁不跟進目标URL，通常不是單一原因。按連結可發現性、入口頁质量、抓取预算和連結层級這個顺序排查，比盲目增加投放更有效。