很多人在蜘蛛池里加完一批入口頁，第二天就去看日誌，發現有的被爬了，有的连着几天没動静。于是開始怀疑域名不行、IP 被拉黑，或者干脆認為蜘蛛池没用。實际上，新入口頁從上线到被爬，中間要過好几道關，任何一道没走通，抓取就不會發生。把這几步看明白，比反复換域名更省事。
爬虫發現新 URL 的三條常規路径
搜尋引擎遇到一個陌生 URL，主要靠三種方式，蜘蛛池里的入口頁也不例外。
- 已有頁面的連結：如果這個入口頁被某個已经被抓取的頁面鏈出去，爬虫顺着連結就能找到它。這是最快的一條路，也是内部互鏈和外部引用真正起作用的地方。
- sitemap 與提交入口：通過站長平台提交或 sitemap 声明，相当于主動告诉爬虫這里有個新地址。但提交只是進入候選队列，並不等于马上抓。
- 同域名下的抓取带動：如果同一域名下已有頁面在被稳定抓取，爬虫再次訪問该域名时，可能顺带發現新連結。域名本身越活跃，這條路径越顺。
三條路都不通，入口頁就只是躺在服務器上的一個文件，日誌里不會有任何记錄。
第一轮抓取為什么容易漏
就算被發現，抓取也未必發生在第一天，常见原因有几類。
抓取队列里的優先級
爬虫手里的 URL 是排队處理的，队列里還压着大量其他站点。新域名、新頁面通常排在後面，除非有强信号把它提前，比如来自高活跃度頁面的連結。
域名還很陌生
新註冊域名没有歷史抓取记錄，爬虫會先用很小的配額试探。這时候即使来了，也可能只抓首頁或一两個入口頁，剩下的要等下一轮。這不是異常，是正常的观察過程。
入口頁本身没有可抓内容
如果入口頁只有一行跳轉、一個空容器，或者内容全靠 JS 渲染而爬虫拿不到，抓取請求可能發出，但頁面價值判定很低，後續就不再来了。
第一次响應的质量，决定它還會不會再来
爬虫第一次到訪，看到的是服務器返回的那一份 HTML。這份响應里有几個信号很關键：
- 狀態碼：200 是正常；301、302 會消耗一次跳轉；5xx 會被当成临时故障，可能重试；403 和 429 則容易被理解為不欢迎，直接压低後續訪問频率。
- 响應時間：TTFB 長期偏慢，爬虫往往會主動降低抓取频率，把预算留给別的站点。
- 内容與連結：頁面里有没有可解析的文字、有没有指向目标頁的連結，决定這次抓取能不能顺带發現下一批 URL。
換句话说，第一次抓取更像一次接触，而不是一次抽奖。通過了，才有後續。很多人把精力都花在怎么让蜘蛛来，却忽略了来了之後给它看什么。
從日誌里能看出的三件事
與其猜，不如看日誌。重点看三样：
- UA 與频次：確認来的是真實爬虫而不是采集脚本，並观察同一 IP 段的時間分布，是集中来一次，還是持續回訪。
- 狀態碼分布：如果大量 404、5xx 或 3xx，說明入口頁本身有問题，先修這個，再谈扩量。
- 被抓取的 URL 列表：對比你期望的入口頁清單，看哪些没被抓。没被抓的那部分，優先检查它是否真的被連結指向。
几個可落地的做法
- 新入口頁上线後，先确保它被至少一個已被抓取的頁面連結到，不要急着批量铺開。
- 入口頁尽量返回稳定的 200，避免用 302 做常規分流。
- 把响應時間控制在合理范围，頁面体积別做得太大。
- 分批上线並观察日誌，根據實际抓取情况再决定是否扩量，而不是一次性全推。
- 给入口頁留一点真實文本内容，哪怕很短，也胜過纯跳轉的壳頁面。
蜘蛛池能做的是提高被發現的概率，不能替爬虫做决定。抓取是否發生、是否持續，最终還是由頁面质量、响應质量和域名整体信号共同决定的。
把第一轮抓取当成一次需要准备的接触，而不是一次碰运气，结果通常會稳定一些。