很多人在入口頁日誌里已经看到搜尋蜘蛛来了，連結也寫了，但目标站的服務器日誌里两三天都没有動静。這種情况通常不是“連結没被發現”，而是發現之後還隔着一段調度過程。理解這段過程，比反复改入口頁更有用。
發現和抓取是两件分開的事
搜尋蜘蛛抓取入口頁时，會把頁面里的連結提取出来，轉成一個待抓取的 URL 列表。這個動作叫URL 發現。發現之後，URL 只是進入了一個候選池，並不意味着马上會被訪問。
候選池里的 URL 需要经過優先級排序、抓取配額分配、可抓取性检查，最後才由調度系統派出蜘蛛去請求。整個過程可能几分钟，也可能几周，取决于目标站本身在搜尋引擎眼里的狀態。
從發現到抓取，中間大致要過這几步
- 入队與去重：同一個 URL 被多個入口頁指向，通常只會留下一條记錄，重复指向不會成倍加快。
- 優先級排序：站点歷史抓取质量、頁面更新频率、被連結的广度都會影响排序。
- 可抓取性检查：目标站的 robots.txt、頁面級 meta robots，以及之前的 HTTP 狀態记錄都會被參考。
- 配額分配：搜尋引擎會给每個站点分配一個大致的抓取量，站点响應越慢、错誤越多，這個量往往越小。
- 實际調度與重试：第一次請求失敗（超时、5xx）會進入重试，重试間隔通常逐步拉長。
哪些因素會让等待變長
- 目标站响應慢：几百毫秒和几秒的差別，在配額分配上是量級差异。
- 目标站错誤率高：频繁 5xx、连接重置、證书問题，都會让調度器降低訪問意愿。
- 目标站本身被抓得少：新站或長期没有内容更新的站，抓取频次本来就低。
- URL 變体太多：带參數、大小寫、www 與非 www 混用，會把有限的抓取量分散到多個地址上。
- 入口頁质量差：入口頁大量重复、内容空洞，提取出的連結在排序里會被降權。
可以主動做的几件事
- 把目标 URL 自身的 sitemap 维護好，让搜尋引擎有獨立于入口頁的發現渠道。
- 保證目标頁面返回稳定的 200，响應時間尽量控制在可接受范围内。
- 减少跳轉鏈：一次 301 可以接受，连續多次跳轉容易被降低優先級。
- 頁面 URL 尽量固定，不要因為改版频繁變動地址。
- 在目标站内部做好連結，让被抓到的任一頁面都能通向其他頁面。
- 用日誌记錄“首次發現時間”和“首次抓取時間”的差距，長期看趋势，而不是盯着某一天。
几個常见的誤解
- 入口頁數量越多越快：重复連結對調度排序的作用很小，邊际效果递减明顯。
- 刷新入口頁能立刻触發抓取：入口頁被重抓，只是重新確認了一次連結，不等于目标 URL 被排到队首。
- 提交就等于插队：提交只是提供發現渠道，是否抓、什么时候抓仍由調度决定。
怎么判断是“還没轮到”還是“被挡了”
如果入口頁日誌正常，但目标站日誌完全没有搜尋蜘蛛的請求记錄，可以按下面顺序查：先在目标站日誌里搜尋蜘蛛 UA 是否存在；再检查 robots.txt 是否誤屏蔽了整站或目錄；然後看服務器是否有防火墙、CDN 規則拦截了蜘蛛 UA；最後確認 DNS 解析是否稳定。
如果日誌里能看到請求但返回 403、5xx 或超时，問题就在服務器侧，不在入口頁。
把入口頁当成“递名片”的動作就好：名片递出去了，對方什么时候回訪，取决于你這邊门是不是開的、接电话快不快。入口頁能影响的是被發現的机會，抓取节奏最终還是由目标站自身的狀態决定。