先澄清一個常见誤解
在蜘蛛池和站点运营里，有一種很常见的判断方式：只要服務器日誌里出現了搜尋蜘蛛的 UA，訪問了入口頁，就認定入口頁里的目标連結已经被發現和跟進。這個结论其實跳了一步。
搜尋蜘蛛抓取一個頁面，和它從頁面里提取連結、排队、再抓取那些目标 URL，是两個獨立動作。入口頁被抓，只能說明這個頁面本身進入了抓取队列；目标 URL 是否被跟進，還要看連結有没有被解析、有没有被過滤、有没有排上队。
日誌里應该看哪几個信息
第一，請求的 URL 是不是目标 URL
很多日誌把入口頁和目标頁混在一起看，容易誤判。建议先把入口頁 URL 單獨标记出来，再篩選目标 URL 的請求记錄。如果目标 URL 從来没有出現過，說明至少在目前观察周期内没有被實际抓取。
第二，狀態碼和响應大小
- 200 且响應体有正常内容：通常說明目标頁被真實抓取了
- 200 但响應体极小，比如只有几字节：可能是空頁或者被拦截
- 301 或 302：說明抓取請求發生了，但落到了跳轉上，需要看跳轉终点
- 403、429、503：多半是被服務器拒绝或限流，不等于被正常抓取
- 404、410：被抓了，但目标已经不存在
第三，抓取時間线
把入口頁的抓取時間点和目标 URL 的首次抓取時間点放在一條時間线上看。合理的情况是入口頁被抓之後，目标 URL 在一段時間内陆續出現。如果入口頁反复被抓、目标 URL 却一直没有任何记錄，問题更可能出在入口頁本身，而不是目标站。
入口頁被抓了、目标没被跟進的常见原因
- 連結寫在 JavaScript 里，而抓取端没有执行渲染，連結根本没被解析出来
- 連結带了 nofollow，或者頁面級存在 noindex、nofollow 指令
- 入口頁連結數量過多，目标排到了队列很靠後的位置
- 目标 URL 本身在 robots.txt 里被禁止抓取
- 目标站响應慢或频繁返回 5xx，抓取被推迟甚至放弃
- 入口頁返回的内容與日誌中看到的不一致，比如按 UA 返回了不同版本
這些原因里，只有最後一條属于比較隐蔽的情况，其余都可以通過查看入口頁 HTML 源碼和 robots.txt 快速排除。
一套可执行的驗證流程
- 選定一到三個入口頁，记錄下頁面里所有目标 URL，形成對照清單。
- 在服務器日誌中按時間范围篩選，統計入口頁和目标 URL 各自的請求次數與狀態碼。
- 检查入口頁 HTML 源碼，確認目标連結是真實的 a 标簽，且没有 nofollow 等限制。
- 检查目标站 robots.txt，確認没有把目标路径整体屏蔽。
- 观察至少一到两周，看目标 URL 是否開始出現抓取记錄。
- 如果仍然為零，優先怀疑入口頁的輸出方式，而不是繼續加量投放。
需要說明的是，被抓取和進入索引是两件事，本文只讨论抓取路径的驗證，不涉及也無法保證收錄结果。
几個容易踩的坑
- 只看蜘蛛 UA 的總訪問量，不看具体 URL，把入口頁的抓取誤当成目标頁的抓取
- 用第三方統計工具代替服務器日誌，采样和過滤導致資料缺失
- 观察周期太短，抓取排队本身就有延迟，几天没動静不代表有問题
- 入口頁被频繁抓取就不断加連結，反而让抓取预算被入口頁本身消耗掉
小结
入口頁被搜尋蜘蛛抓取，只是 URL 發現鏈條上的第一步。真正要確認的是目标 URL 有没有出現在日誌里、以什么狀態碼出現、出現在什么時間点。把這三件事看清楚，再判断是繼續優化入口頁结构，還是回头检查目标站自身的可抓取性，方向會清晰很多。