做蜘蛛池入口頁的人经常把“發現”当成终点：入口頁上有連結，就等于這條 URL 已经交到搜尋蜘蛛手上了。實际上發現只是排队的第一步，真正决定這條 URL 後續命运的是抓取之後的响應结果。
發現、抓取、狀態碼，是三件事
搜尋蜘蛛從入口頁解析出連結後，會把它放進待抓取队列，這是“發現”。之後它去訪問這個 URL，拿到的是 200、301、404 還是 410，則會寫進自己的记錄里，這是“抓取结果”。發現机制一直在執行，但抓取结果會影响這條 URL 下一次被怎么對待。
404 和 410 對搜尋蜘蛛意味着什么
两個狀態碼都在说“這個地址没有内容”，但语气不一样：
- 404：暂时找不到，未来有恢复的可能。搜尋蜘蛛通常會留一段观察期，入口頁再指過来时，可能還會再抓一两次確認。
- 410：明确表示资源已经永久刪除。放弃速度通常比 404 更快，重复抓取的意愿也更低。
如果入口頁長期、大量地指向 404 或 410，這些死連結會持續占用抓取配額——蜘蛛来一趟、拿到一個错誤、记一筆，而真正需要抓取的目标 URL 反而排在後面。
“發現”本身不會因為抓取失敗被删掉
入口頁的 HTML 還在，連結還在，搜尋蜘蛛理论上仍然能再次解析出它。問题在于發現队列並不是無限耐心的：同一條 URL 反复返回错誤，它在队列里的優先級會下降，被回訪的频率也會降低。
入口頁反复指向死連結，不會让目标 URL 更快被收錄，只會把有限的抓取资源消耗在無效地址上。
目标 URL 修好之後该怎么办
如果入口頁的連結本身是稳定的，只是服務器临时故障、後来恢复返回 200，一般不需要額外動作，蜘蛛重新訪問时會自然更新记錄。但如果是入口頁的連結寫错了、後来才改過来，建议：
- 先確認入口頁返回的 HTML 里确實已经指向新地址；
- 把修改後的入口頁 URL 放進站点地图，让它有被重新抓取的机會；
- 對少數核心 URL，可以用地图或普通提交通道主動提一次，缩短等待時間。
运营层面的两個實用做法
一是入口頁的連結尽量指向真實可用的頁面。哪怕内容還没完全准备好，一個返回 200 的占位頁也比 404 更友好，至少不會持續消耗抓取预算。
二是定期抽查入口頁的失效連結。入口頁越多，死鏈积累得越隐蔽。可以隔一段時間抽样抓一遍入口頁，統計有多少連結返回了 4xx，再决定是修連結還是撤掉這一頁。
几個常见誤区
- 以為“被發現”就等于“一定會被抓取”，中間還隔着排队和资源分配。
- 以為 404 出現一次就等于永久刪除，其實 410 才更接近這個意思。
- 以為入口頁只要放連結就行，連結指向哪里同样影响整体抓取效率。
说到底，入口頁解决的是“被知道”的問题，能不能被真正抓取和保留，還要看目标地址每次返回什么。把入口頁维護成一個連結质量可控的頁面，比單纯堆數量更實际。