很多人判断入口頁有没有起作用，只看入口頁本身被請求了多少次。入口頁被訪問只是第一步，真正的目标是入口頁里的連結被搜尋蜘蛛跟進並請求。這两件事必须分開看，否則很容易得出错誤结论。
先区分两類請求
在訪問日誌里，入口頁的 URL 和目标 URL 是两行完全不同的记錄。判断时先把它們拆開：
- 入口頁請求：說明搜尋蜘蛛讀到了入口頁，只證明發現环节走通了一部分。
- 目标 URL 請求：說明它确實顺着連結走到了你的頁面，這是更值得關注的信号。
- 如果只有第一類、没有第二類，問题多半出在連結是否可解析、是否可被跟進，而不是入口頁本身有没有被抓。
日誌里重点看哪几個字段
- User-Agent：先按 UA 過滤出可疑行，再核對 IP 段。UA 可以伪造，只看 UA 容易誤判。
- 請求時間：看目标 URL 的首次請求是否出現在入口頁請求之後，間隔較長时不要急着下结论。
- 狀態碼：200、301、404、403、503 含义各不相同，遇到跳轉要一路跟到最终响應。
- Referer：部分請求會带上来源，可以用来辅助確認連結路径，但缺失是常態，不能当作唯一依據。
- 請求方法：HEAD 請求很常见，它不代表頁面被完整抓取，也不代表没有被抓取。
几個容易誤判的情况
- 日誌里看不到，不等于没抓：CDN、反向代理、獨立的日誌系統都可能让請求不進源站日誌。
- 只抓到一次：搜尋蜘蛛對同一 URL 的抓取频率本来就不固定，一次請求已经能說明鏈路是通的。
- 入口頁被抓很多次，目标 URL 一次都没有：要检查連結是否靠 JavaScript 渲染、是否被 nofollow、是否落在 robots.txt 的 Disallow 范围内。
- 目标 URL 返回 200 但狀態異常：抓取和後續處理是两件事，日誌只能證明抓取發生過，說明不了更多。
- UA 明顯異常的高频請求：這類流量可能来自掃描或采集，統計时應先剔除，避免高估效果。
確認没有抓取时的排查顺序
- 用浏览器直接打開入口頁，確認連結在原始 HTML 里就能看到，而不是渲染之後才出現。
- 检查入口頁是否返回 200，是否存在跳轉鏈路，是否有 meta robots 或响應头层面的限制。
- 確認連結指向的最终 URL 可以正常訪問，並且没有被该站自身的 robots 規則挡住。
- 核對日誌采集鏈路，確認源站、CDN、日誌服務三處的记錄是否完整、時間是否對齐。
- 连續观察几天再判断，不要用一两個小时的样本下结论。
日誌能看到的是“有没有被請求”，看不到的是後續的评估與收錄决策。把它当作驗證抓取鏈路的工具，而不是效果的保證。
建议的记錄方式
把入口頁請求數、目标 URL 請求數、首次請求時間、狀態碼分布整理成一張按天匯總的简單表格，连續观察两到四周。這样既能看清趋势，也方便在調整連結结构或入口頁之後做前後對比。數量本身會有波動，重点看的是目标 URL 是否從完全没有請求，變成有相對稳定的請求。