做蜘蛛池或入口頁运营时，经常會遇到一種情况：抓取日誌里明明能看到搜尋蜘蛛訪問了入口頁，甚至也抓了目标 URL，但過一段時間去查，目标頁還是没有被收錄。這时候容易把原因归到“蜘蛛池没用”或者“入口頁權重不够”上，但更常见的其實是鏈路上某一环断了。抓取、解析、入库、索引评估是几件不同的事，任何一步卡住，结果都會表現為“不收錄”。
先把“抓了”和“收錄了”拆成四個阶段
1. 入口頁被抓，連結被發現
搜尋蜘蛛抓了入口頁，只代表頁面内容被拿走了，不代表里面的每一條連結都會被處理。如果連結藏在需要执行脚本、需要点击或需要額外請求才能拿到的地方，很可能在解析阶段就被跳過。這一步要確認的是：入口頁返回的狀態碼正常、正文里确實存在可解析的 a 标簽，並且連結不是被 nofollow、robots 或頁面級限制挡住的。
2. 目标 URL 真的被抓取
日誌里出現目标 URL，要看清楚是哪一種請求。有些记錄是预检、有些是带參數的版本、有些是渲染资源的請求，它們和真正抓取頁面正文並不是一回事。理想情况下，你希望看到的是對目标地址本身的 GET 請求，返回 200，並且响應体是完整的 HTML，而不是跳轉鏈、驗證碼頁或空壳頁面。
3. 抓取之後還要解析和去重
頁面被成功抓取，内容也不一定能進入下一步。如果目标頁與站内已有頁面高度相似，或者正文被模板、广告、内鏈淹没了主体，就可能被判為重复或低價值。此外，如果頁面主体内容依赖前端渲染，而抓取时拿到的是空白容器，同样會被当作無内容處理。
4. 進入索引候選後還有一轮评估
這一步對站長来说几乎是黑盒。頁面能不能最终出現在结果里，還取决于站点整体质量、内容新鲜度、連結结构、訪問稳定性等多種因素。你能做的是把前面三步的硬伤排掉，让頁面至少處于“可被正常處理”的狀態，而不是反复提交同一條 URL 期待结果變化。
用日誌確認断点，別靠猜
排查时最容易犯的错，是只看“有没有蜘蛛来過”，不看具体請求。建议按下面這些点逐條核對：
- 入口頁日誌里，搜尋蜘蛛的請求是否返回 200，是否只抓了一部分就离開。
- 目标 URL 是否出現在日誌里，返回狀態碼是多少，响應大小是否合理。
- 抓取目标 URL 时用的 UA、IP 段是否和正常搜尋蜘蛛一致，避免把其他爬虫誤認成搜尋蜘蛛。
- 同一目标 URL 是否被反复抓取但從未稳定返回内容，比如时好时坏、間歇性 5xx。
- 目标頁是否設定了會影响索引的响應头或頁面級指令。
- 入口頁更新後，蜘蛛抓到的版本是不是仍是缓存中的舊版本。
几種最常见的断点位置
- 連結根本没被發現。連結只存在于脚本里、表單里或需要交互才出現，解析阶段拿不到。
- 連結被發現了但没被跟進。頁面級限制、nofollow、跳轉鏈過長，都可能让蜘蛛在入口頁停住。
- 目标 URL 抓取失敗。超时、限速、返回 403 或 5xx，蜘蛛来過但没拿到内容。
- 抓到了却没内容。正文由前端渲染，抓取端拿到的只是空模板。
- 内容被判重复。目标頁與站内其他頁高度雷同，或正文被大量無關模块稀释。
排查顺序建议
先看入口頁能不能被正常抓取，再看連結能不能被解析出来，然後看目标 URL 的响應是否稳定，最後才去考虑内容层面的問题。顺序反過来，很容易在内容上反复調整，却忽略了一個 503 或一次超时。對于同一個入口頁，不建议短時間内反复改動结构和連結，改動太频繁會让抓取结果难以對照。
如果確認前面几环都正常，而頁面長期没有進入索引，可以考虑換一條入口路径、換一個時間点观察，或者检查目标頁本身是否值得被單獨收錄。收錄與否最终由搜尋引擎决定，入口頁能做的只是把發現的路径铺好、把抓取的门槛降下来，而不是保證结果。
把“蜘蛛来過”当成“已经收錄”，是排查里最常见的誤判。先確認請求是否成功、内容是否可解析，再去讨论收錄，效率會高很多。