做蜘蛛池时，很多人會問一個問题：入口頁跑了几個月，目标 URL 也陆續被搜尋蜘蛛發現了，那如果把入口頁停掉，甚至直接下线，之前已经發現的那些 URL 還會繼續被爬吗？這個問题没有统一答案，但把“發現”和“抓取”拆開看，思路就清楚很多。
發現和抓取是两件不同的事
搜尋蜘蛛在入口頁上看到一個連結，只代表這個 URL 進入了它的待處理队列，不代表马上會抓，也不代表一定會抓。真正决定抓取节奏的，通常是這個 URL 所在站点的整体情况、歷史抓取表現、内容更新频率、服務器响應速度等。入口頁在這個過程中扮演的是“提供线索”的角色，它不负责後面的抓取排期。
所以入口頁下线後，影响最大的其實是新 URL 的發現渠道，而不是已经進入队列的 URL 的抓取。
入口頁下线後，三類 URL 的處境不同
1. 已经進入待抓队列的 URL
這類 URL 已经被记錄在抓取系統里，短時間内不會因為入口頁消失就全部取消。它們會按照各自的站点情况繼續排队，可能被抓，也可能因為優先級低而長期搁置。
2. 刚被發現、還没排上队的 URL
這類最尴尬。入口頁下线後，没有新的連結来源去“提醒”搜尋引擎這個 URL 的存在，如果站点本身權重不高、更新也不频繁，抓取優先級會慢慢往下掉，最後可能就停在队列里不動了。
3. 還没被任何入口頁指向的 URL
這些 URL 本质上從未被發現過。入口頁没了，就少了一條甚至唯一一條通往它們的路径。
停更和下线不是一回事
入口頁内容不再更新，但頁面還能正常打開、連結還在，那它對目标 URL 的發現作用基本保留。真正有明顯影响的是下面這几種情况：
- 入口頁返回 404 或 410，連結随之消失；
- 入口頁整站下线或域名解析失效；
- 入口頁被降權，蜘蛛回訪频率大幅下降；
- 入口頁被 robots.txt 或 noindex 處理掉。
也就是说，门戶還在、只是不更新，和门戶直接拆掉，對目标 URL 的後續影响差別很大。
想减少损失，可以這样做
- 需要長期被發現的 URL，尽量保留至少一個稳定的入口頁，不要一次性全撤。
- 逐步替換而不是突然下线：新入口頁先上线、被爬過几次之後，再把舊的下掉。
- 目标 URL 本身要注意可訪問性，一個長期返回 5xx 的頁面，蜘蛛来過几次後自然會减少回訪。
- 用服務器日誌观察入口頁的蜘蛛回訪频率，回訪明顯變少时，就该考虑补充新的入口来源。
怎么判断已發現的目标 URL 還在不在被抓
最靠谱的還是看日誌：先在入口頁日誌里確認蜘蛛确實来過，再去目标 URL 的訪問日誌里找同一個 UA 的记錄，看時間是否在入口頁抓取之後。如果入口頁的抓取時間点在持續更新，目标 URL 却長時間没有新记錄，說明抓取确實被卡住了，或者目标 URL 已经被判定為低優先級。
入口頁解决的是“被看到”的問题，抓取和收錄另有自己的一套逻辑，把两者混在一起判断，很容易得出错誤结论。
小结
入口頁停更通常不致命，下线則會让新 URL 的發現渠道變窄。已经進入队列的 URL 短期内仍可能被抓，但得不到新連結支撑的 URL，抓取優先級會逐步下滑。實际操作中，與其一次性關掉大量入口頁，不如分批替換、持續观察日誌，让發現和抓取都保持一個相對稳定的节奏。