很多站長做完蜘蛛池入口頁之後，只能看到“有蜘蛛来過”，却说不清這些訪問到底有没有轉化成目标 URL 的抓取。感觉上像在起作用，又拿不出依據。其實不用靠感觉，服務器日誌里已经留下了足够的线索，只要把“發現”和“抓取”分開統計，就能判断入口頁是在干活還是在空轉。
先把“起作用”拆成三個环节
一次完整的传递，通常會经過三步：搜尋蜘蛛抓取入口頁、在入口頁里解析出目标 URL、之後再單獨去訪問目标 URL。這三步任何一步断掉，後面都不會發生。所以判断效果时，不要只統計入口頁的訪問量，要按环节分別看。
- 發現：入口頁被抓取，且目标 URL 出現在這次抓取的响應里。
- 抓取：日誌里出現搜尋蜘蛛對目标 URL 的請求。
- 落地：目标 URL 被正常返回（200），且内容可讀，不是重复頁或空頁。
三個可以自己算的指标
1. 入口頁抓取频次
把日誌按 UA 和路径過滤，統計入口頁每天被搜尋蜘蛛請求的次數。如果连續一周都是零，問题在入口頁本身是不是被拦截、是不是没有被任何地方引用，而不是連結寫得不够多。
2. 發現到抓取的轉化率
挑一批已经挂上入口頁的目标 URL，记錄它們的上线時間，然後在日誌里找這些 URL 第一次被抓取的時間。用“已抓取數量 ÷ 已挂連結數量”就是轉化率。這個比值偏低，說明入口頁虽然被抓了，但里面的連結没有被繼續跟進，常见原因是連結藏得太深、頁面体积太大，或者連結本身不可解析。
3. 首次抓取延迟
從目标 URL 出現在入口頁，到它第一次被搜尋蜘蛛請求，中間隔了多久。這個時間没有标准答案，但可以和自己比：如果延迟從几天拉長到几周，通常意味着入口頁的可信度或抓取配額被稀释了。
看日誌时容易踩的几個坑
- 把 UA 当成绝對可信。UA 可以伪造，最好结合反向解析或 IP 段一起看，至少別只凭一個字符串下结论。
- 把入口頁的訪問量当成效果。入口頁被频繁抓取，不代表目标 URL 被跟着抓了。
- 統計周期太短。搜尋蜘蛛的調度本身有波動，一两天没動静說明不了什么，建议按周看趋势。
- 忽略狀態碼。目标 URL 返回 3xx、4xx、5xx 时，抓取记錄會存在，但传递是失敗的。
資料不理想时，先改哪一环
- 先確認入口頁能被正常抓取：狀態碼 200、没有被 robots 拦截、没有 noindex。
- 再看連結是不是真的在 HTML 里：用抓取工具查看渲染前的源碼，確認目标 URL 存在。
- 然後精简入口頁：把重要連結往前放，减少無關脚本和样式，控制單頁連結數量。
- 最後再考虑扩容：加域名、加入口頁。前面的环节没打通，加量只是放大無效動作。
需要明确的是，被發現和被抓取只是前置條件。是否進入索引、以什么形式展現，最终由搜尋引擎自己判断，任何入口頁和工具都無法保證结果。
把這三個指标按周记錄下来，判断會變简單：到底是入口頁没被抓，還是連結没被跟進，還是目标頁自己有問题。定位到具体环节，調整才有方向。