看服務器日誌时，很多人會發現一個現象：站内几千個 URL，搜尋蜘蛛每次来却總围着首頁、频道頁和几篇老文章打轉，新發布的地址要等很久才被碰到。抓取的起点不同，後面能走到的深度、能發現的 URL 數量也不同。與其反复提交地址，不如先搞清楚蜘蛛是怎么挑第一批訪問對象的。
抓取起点由哪几件事共同决定
蜘蛛並不會平均分配注意力。它每一轮訪問都有一批種子地址，這批地址的形成通常和下面几件事有關：
- 上一次的抓取结果：成功返回 200 且内容變化明顯的頁面，更容易進入下一轮的優先队列；長期返回 304 或内容几乎不變的頁面，复查間隔會被拉長。
- 連結出現的位置：首頁、频道首頁、導航区的連結，比正文深處、分頁末頁的連結更容易被当成入口。
- Sitemap 與提交记錄：Sitemap 里的 lastmod、提交接口推送過的 URL，會给蜘蛛一個“這里可能有新内容”的信号。
- 站点整体的抓取成功率：如果歷史抓取里超时、5xx 偏多，調度會主動降低频率，起点數量也會缩水。
入口頁的质量决定後面能走多遠
蜘蛛從入口頁出發，能走多深取决于這一頁本身。如果入口頁的 HTML 里能直接解析出足够的站内連結，而且這些連結指向的是有效、可抓取的地址，那么一次訪問就能覆盖較多 URL。反過来，如果入口頁体积很大、正文之外還挂着大量脚本，或者站内連結主要靠 JS 渲染，蜘蛛走到第一层可能就停住了。
入口頁不是“被訪問了就够了”，它是後面一整條抓取路径的起点，連結是否可解析、是否指向有效地址，直接决定這條路能走多遠。
用日誌確認起点是否合理
- 先按 UA 和反向解析確認来訪的是真蜘蛛，避免把普通爬虫的資料混進来。
- 把日誌按天分组，統計每天首次出現的 URL，观察它們是從哪個頁面被带出来的，看上一跳地址或 referer。
- 對比新發布内容與老頁面的抓取次數，如果新 URL 長期没有被首次抓取，說明入口頁没有把它們带出去。
- 检查入口頁返回的狀態碼、响應時間和 HTML 大小，排除因頁面本身問题導致的抓取中断。
服務器表現會改變下一轮的起点
抓取起点不是固定的。如果一段時間内响應時間明顯變長，或者 5xx、超时集中出現，蜘蛛會减少並發、拉長訪問間隔，下一轮可能只挑最熟的几個地址来看。稳定、可预期的响應，比偶尔的高速更能维持抓取节奏。
可以顺手調整的几件事
- 把真正需要被發現的新内容放進首頁或频道頁的固定位置，而不是只靠時間流自然滚動。
- 保持 Sitemap 的 lastmod 與實际更新時間一致，不虚报也不漏报。
- 给孤立的深层頁面补一條来自相關内容的站内連結。
- 關注入口頁的体积和渲染方式，让關键連結出現在初始 HTML 中。
抓取起点理顺之後，URL 的發現會更连續一些。它不會立刻改變收錄结果，但能让蜘蛛每次来都有明确的路可走，也便于你從日誌里判断問题出在哪一环。