做站点运营，很多人會盯着發布量和收錄數，却很少回头看服務器上的抓取日誌。日誌里有蜘蛛来過哪些地址、什么时候来、拿到什么狀態碼，這些信息比猜测有用得多。定期翻一翻，能提前發現新頁面為什么迟迟没被訪問。
抓取日誌里值得關注的几列
不同服務器的日誌格式略有差別，但通常都能看到時間、訪問 IP 或主机名、請求方法、URL、狀態碼、User-Agent、响應大小。把這几列過一遍，就能拼出一張蜘蛛的行走路线。
- User-Agent：確認来訪的是哪類蜘蛛，別把普通爬虫和搜尋蜘蛛混在一起看。
- 狀態碼：200、301、404、5xx 各占多少，異常比例高不高。
- URL 分布：抓的是栏目頁、詳情頁，還是一堆带參數的篩選頁。
- 抓取频次：同一天里哪些目錄被反复訪問，哪些目錄几乎没人来。
如果日誌量太大，可以先按狀態碼和目錄做一次統計，再挑重点时段细看。
新頁面為什么没被抓到
新内容發布後迟迟没有蜘蛛訪問，通常不是單一原因，可以從几個方向排查。
- 入口太少：頁面只存在于後台，列表頁、栏目頁、相關推荐里都没有指向它的連結。
- Sitemap 没更新：新 URL 没有寫進站点地图，或者寫進去了但提交時間太久。
- 連結被屏蔽：robots.txt、頁面上的 noindex、登入墙把蜘蛛挡在外面。
- 服務器响應慢：频繁超时或 5xx，會让蜘蛛降低對這個站点的訪問意愿。
- URL 反复改動：同一篇内容換了几次地址，舊地址跳来跳去，蜘蛛容易放弃。
這几項不必同时改，先修最影响入口的那一條。
把 URL 發現渠道补齐
蜘蛛發現新地址，主要靠連結和站点地图。运营能做的，是让這两個渠道保持通畅。
- 新文章發布後，確認它至少從栏目頁、首頁或上一篇相關文章里能点到。
- Sitemap 按栏目拆分，更新频率高的栏目單獨一份，方便观察。
- 列表頁分頁保持可抓取，別让第 2 頁之後的連結全部用按钮代替。
- 站内搜尋结果頁、标簽頁如果内容重复，考虑用 noindex 或 robots 規則收敛，避免抓取分散。
抓取预算與浪費
蜘蛛對每個站点的抓取量是有上限的。如果大量請求落在無價值頁面上，留给新内容的份額就會變少。
與其抱怨蜘蛛不来，不如先看看它来了之後都在抓什么。
常见的抓取浪費包括：带各種排序參數的列表頁、已经 404 但還挂在導航里的舊連結、跳轉鏈過長的中間地址，以及同一個内容的多套 URL。把這些整理一遍，往往比多做几條外鏈更直接。
建立固定的观察节奏
抓取日誌不需要每天逐行看，但要形成节奏。
- 每周固定時間導出一次日誌，統計抓取總量、狀態碼分布和目錄分布。
- 重点记錄新栏目上线後的一周，观察蜘蛛有没有跟進。
- 改動结构、改名、換域名之後，连續观察两到三周。
- 把異常（5xx 上升、某目錄突然没人抓）记下来，和服務器改動時間對照。
容易踩的几個坑
- 只看提交成功提示，不看蜘蛛實际有没有訪問。
- 把蜘蛛抓取量当成收錄量，两者不是一回事。
- 為了让蜘蛛多来，频繁改動 URL 和站点结构，反而增加不确定性。
- 日誌里混入大量图片、CSS、JS 請求，統計时没做過滤，结论失真。
抓取日誌像一份持續更新的体检表。把它和栏目規划、内鏈结构、服務器狀態放在一起看，新頁面被發現的速度會更稳定一些。它不保證什么结果，但能让很多問题更早暴露出来。