很多人在蜘蛛池上花力气，注意力全放在入口頁：域名够不够多、連結够不够散、更新够不够勤。但入口頁只做一件事——把蜘蛛送到目标頁。真正决定這次抓取有没有意义的，是目标頁能不能接住。
入口頁與目标頁的分工
入口頁的职责是被發現和被跟随；目标頁的职责是被理解和被留存。前者做不好，蜘蛛根本不来；後者做不好，蜘蛛来了也只是白走一趟，抓取预算被消耗，頁面却没有進入下一次調度的理由。
入口頁决定蜘蛛来不来，目标頁决定蜘蛛還来不来。
目标頁常见的四類“接不住”
1. 打開就出問题
入口頁返回 200，目标頁却返回 404、403、502，或者跳到一個登入頁、驗證頁。蜘蛛顺着連結走過去，得到的是一個無效终点。這種情况在入口頁的日誌里往往看不出来，需要單獨检查目标頁的响應狀態。
2. 首屏迟迟不出来
目标頁依赖大量前端渲染、外鏈字体、第三方脚本时，蜘蛛拿到的可能是一個接近空白的 HTML。即便能执行 JS，渲染超时也會让内容抓不全。入口頁再轻快，到這一跳被拖住，整体抓取效率都會往下掉。
3. 内容與入口描述對不上
入口頁的锚文本和周邊文字，其實是给蜘蛛的一個预期。如果锚文本说的是“某類资料”，点進去却是完全無關的頁面，連結的可信度會被稀释，後續同類連結被跟随的意愿也會降低。
4. 目标頁自身不允许被抓
robots.txt 屏蔽、meta robots 寫了 noindex、canonical 指向別的 URL，這些都會让入口頁的努力在最後一跳被抵消。這類問题通常不是蜘蛛池配置错，而是目标站的歷史遗留設定没人清理。
几個容易踩的誤区
- 只盯入口頁資料。入口頁的抓取次數好看，不代表目标頁被有效處理。
- 目标頁频繁換 URL。同一份内容反复換地址，入口連結指向的舊地址變成 301 鏈或死鏈，蜘蛛會降低對這批連結的信任。
- 一次指向太多同類頁。入口頁批量指向一批高度相似的頁面，容易被当成低價值聚合，得不偿失。
- 忽略目标站的承载能力。蜘蛛集中到訪时，如果目标站本身响應就慢，抓取频率反而會被压下去。
上线前值得過一遍的检查清單
- 目标頁在無 Cookie、無登入狀態下能否直接打開，狀態碼是不是 200。
- 關閉 JS 後是否仍能看到核心内容與主要連結。
- robots.txt、meta robots、canonical 三者是否互相打架。
- 入口頁锚文本與目标頁主题是否基本一致。
- 同一批入口連結指向的目标頁是否過于集中在少數几個 URL 上。
- 目标站服務器在抓取高峰时段的响應時間是否稳定。
- 入口頁與目标頁是否處在同一語言、同一地区语境下。
入口和目标要一起看
蜘蛛池的調優很少是單点問题。入口頁负责把路径铺出去，目标頁负责把路径走完。任何一端出問题，另一端的工作都會被浪費。與其不断加域名、加連結，不如先把這條鏈路上的断点找出来。抓取行為本身不會承诺结果，能做的是让每一次到訪都不撞墙。