先把“来了”和“發現了”分開
看日誌时最容易犯的错，是把入口頁被請求当成目标 URL 已被發現。搜尋蜘蛛請求入口頁，只說明它来過；它有没有從 HTML 里提取出目标連結，要看你後来有没有等到目标 URL 的請求记錄。這两件事之間隔着一层連結提取，任何一层出問题，日誌上都會表現為“入口頁天天被抓，目标 URL 一動不動”。
所以判断的第一步不是看抓取量，而是找證據鏈：入口頁被有效抓取 → 連結被提取 → 目标 URL 被排队 → 目标 URL 被請求。缺哪一环，就往哪一环查。
日誌里先確認三件事
1. 来訪的是不是搜尋蜘蛛
UA 字符串可以伪造，只看 UA 很容易把采集工具、监控探针、代理回源都算進来。建议配合反向 DNS 解析或官方公布的 IP 段做核對，把無關流量先剔掉。這一步不做，後面所有統計都會失真。
2. 請求的是入口頁還是目标 URL
把入口頁 URL 和目标 URL 分開統計成两張表。入口頁請求量上涨，不代表目标 URL 被訪問過。真正能說明連結被發現的，是目标 URL 出現在日誌里，而且時間点合理。
3. 返回的狀態碼和响應体大小
入口頁返回 200，但响應体只有几百字节，很可能是拦截頁、驗證頁或空模板，連結压根不在里面。5xx、403、超时同样會让連結提取中断。如果某天响應体大小突然掉了一半，值得單獨拉出来看。
能当作“發現”證據的几個信号
- 入口頁被抓後，較短時間内同一蜘蛛 IP 段出現目标 URL 的請求记錄；
- 目标 URL 請求的 UA 與入口頁一致，且该记錄不是遠早于入口頁抓取的舊資料；
- 目标 URL 首次被抓的時間，晚于该入口頁第一次被有效抓取的時間。
Referer 只能作為辅助。很多搜尋蜘蛛抓取二級連結时不带 referer，光靠它會把你誤判成“没發現”。反過来，如果日誌里能看到 referer 指向入口頁，那基本可以確認連結路径是通的。
几種常见的誤判
- 把入口頁的重复抓取当成進展。入口頁被反复抓，只說明它被列入抓取范围，連結提取是否成功是另一回事。
- 把 CDN 或代理回源日誌当成蜘蛛訪問。回源請求的 UA 常被改寫，看源站日誌时要先分辨。
- 連結在 HTML 里，但提取不到。纯 JS 注入、放在 data 属性里、被大量代碼挤到頁面很後面的連結，都可能抓不到。
- 目标 URL 自己有毛病。入口頁正常，但目标 URL 返回 404、5xx、跳轉鏈過長，抓取也會停在上一步。
一個可执行的排查顺序
- 按 UA 和 IP 段過滤出真實搜尋蜘蛛請求。
- 統計入口頁的有效抓取次數，记錄返回碼和响應体大小。
- 在日誌里搜尋目标 URL，看有没有首次出現，並记錄時間。
- 把入口頁抓取時間和目标 URL 首次抓取時間放在同一條時間线上比對。
- 若目标 URL 從未出現，先人工打開入口頁，確認連結在 HTML 源碼里可见、可点、不是跳轉。
- 再检查目标 URL 本身是否可正常訪問，没有被拦截、没有重定向循环。
- 最後看入口頁連結數量是否過多，位置是否過于靠後，必要时精简並前移。
让入口頁更容易把連結交出去
- 入口頁保持可正常訪問，返回稳定的 200 和完整响應体。
- 目标連結放在 HTML 源碼中，不依赖脚本渲染。
- 連結數量克制，重要的放前面，避免一屏塞几百條。
- 用 sitemap 做补充，而不是把它当成唯一入口。
- 別频繁改動入口頁结构，抓取和提取都需要一個稳定的目标。
日誌能告诉你搜尋蜘蛛来過、抓了什么，但不能直接告诉你它下一步會不會抓、抓了會不會收錄。把“發現”這一环確認清楚，後面的問题才不會被归错原因。