先理清 URL 發現的顺序
搜尋蜘蛛發現一個 URL，通常要先有一個入口：要么抓到了包含這個連結的頁面，要么從 sitemap、外部引用等渠道拿到了地址。蜘蛛池里的入口頁就是扮演這個入口角色，但它本身也是一張普通網頁，必须先被搜尋蜘蛛抓取並解析，後面的目标 URL 才有可能進入待抓队列。入口頁自己没被抓，里面的連結寫得再全也没有出口。
入口頁迟迟不被抓的几個常见原因
- 入口頁没有任何外部連結指向，也没有出現在 sitemap 里，蜘蛛缺少走到它的路径；
- 域名或目錄被 robots.txt 整体拦住，蜘蛛直接跳過；
- 入口頁返回 403、404 或 5xx，或者需要登入、带 Cookie 才能看到正文；
- 入口頁數量多、域名新、歷史抓取记錄接近于零，調度優先級天然靠後；
- 頁面响應時間過長，蜘蛛多次尝试超时後降低訪問频率。
怎么判断入口頁有没有真的被抓
最直接的办法是看服務器日誌，而不是看統計报表。先篩選請求中的 User-Agent，再對照訪問 IP：真實搜尋蜘蛛的 IP 可以通過反向解析或公開 IP 段核對，而 UA 本身是可以伪造的，只看 UA 容易誤判。
日誌里重点看三件事：入口頁是否返回 200、蜘蛛大概多久来一次、有没有從入口頁之後的第二步請求。如果入口頁有 200 记錄，但目标 URL 一條請求都没有，說明入口頁被抓了，連結却没有被顺利提取或没有被排队，問题多半出在連結寫法、robots 拦截或頁面结构上。
让入口頁先具备被發現的條件
- 把入口頁地址放進 sitemap，保證至少有一個标准提交渠道；
- 入口頁之間做有限度的互鏈，保留正常层級，避免只做成一個閉环；
- 保證入口頁可匿名訪問、响應稳定，正文里有真實可讀的文字；
- 入口頁數量不要一次铺得太大，先跑通一小批再逐步扩展。
抓取预算是有限的资源。入口頁如果長期没有任何被引用的痕迹、打開又慢，蜘蛛自然會把它排在後面。
几個容易踩的誤区
- 只盯着目标 URL，把入口頁当成一次性工具，不關心它是否被抓；
- 認為提交了 sitemap 就一定會被抓，實际還要看抓取調度和站点權重；
- 入口頁全是新域名、零外鏈，却指望蜘蛛自己找上门；
- 直接拿日誌里的 UA 判断蜘蛛身份，把普通爬虫程序誤当成搜尋蜘蛛。
小结
入口頁和目标 URL 是同一條鏈上的两段：先让入口頁被抓取、被解析，目标 URL 才有被發現的机會。日常排查时，把入口頁的可訪問性、可發現性和日誌记錄放在一起看，比單纯堆入口頁數量更有實际意义。