入口頁只是通道，目标頁才是要收益的地方
很多人搭蜘蛛池时，精力都花在入口頁上：域名、模板、數量、互鏈。但真正决定這轮投入值不值的，是入口頁把爬虫带到哪一頁。入口頁的作用是让爬虫有理由走進来，目标頁才是你希望被看见、被记住的内容。如果目标頁本身站不住，入口頁做得再整齐，也只是把抓取预算消耗在一個没有承接的地方。所以在铺入口頁之前，先花半天時間筛目标頁，通常比後面反复調入口頁更省事。
适合放進池子的目标頁，通常具备這几個特征
- 可稳定訪問：连續多天返回 200，服務器响應時間在合理区間，没有間歇性 5xx。
- 内容已经完整：正文寫完、图表正常、没有“内容建设中”這類占位段落。
- 有獨立價值：能回答一個具体問题，或者提供一段別人没有的信息，而不是列表里的随手一頁。
- 可長期维護：未来半年你還會更新它，而不是活動結束就删。
- 指令干净：robots.txt 没有拦住，頁面没有 noindex，canonical 指向自身而非別的地址。
- 不依赖复杂交互：主要内容在初始 HTML 里能讀到，不用登入、不用点開折叠面板才出現。
這几類頁面，建议先排除在外
- 參數组合生成的结果頁、篩選頁，數量和内容都不稳定，容易變成重复内容。
- 即將下线的临时頁、活動頁，爬虫记住了，過两天却變成 404。
- 需要登入才能看全的頁面，以及靠彈窗、倒計时强行打断阅讀的頁面。
- 同一主题下高度雷同的多個頁面，彼此之間没有明顯差异。
- 自身狀態就不佳的頁面：長期慢、经常超时、图片大面积裂图。
這里有個容易被忽略的点：目标頁不是越多越好。把一批质量參差、结构相似的頁面一次性塞進去，反而會把入口頁带来的抓取分散掉，每一頁都只分到一点点。
入口頁和目标頁，別做成一對一
一個常见的做法失誤，是给每個入口頁固定绑定一個目标頁。這样在抓取路径上會形成非常整齐的對應關系，入口頁之間的差异也容易被抹平。更自然的做法是：一批入口頁指向一组目标頁，同一個目标頁也有多個入口頁可達，但每個入口頁的内容侧重、锚文本和路径略有不同。
數量上，建议從小規模起步。比如先選 10 到 30 個目标頁跑一轮，观察抓取是否真的走到目标頁、目标頁的抓取频次有没有變化，再决定要不要扩。一次性铺几百個目标頁，出了問题很难定位是哪一层的原因。
上线前的一張检查清單
- 逐個打開目标頁，確認狀態碼、标题、正文、canonical 都符合预期。
- 用纯文本方式抓一次頁面，看看主要内容是否出現在源碼里。
- 確認頁面没有被 robots.txt、meta robots 或登入墙拦住。
- 检查移動端顯示，彈窗是否遮挡正文。
- 记錄這一批目标頁的初始抓取情况，作為後面判断的基线。
跑起来之後看什么，什么时候该撤
跑起来之後，重点看两件事：入口頁的抓取是否正常，以及目标頁有没有被真正訪問到。如果入口頁每天都被抓，但日誌里看不到目标頁的訪問记錄，多半是跳轉鏈路或路径設定出了問题，而不是目标頁本身不好。
出現下面几種情况，建议先把對應的目标頁撤出来：反复返回 5xx、内容被改得面目全非、頁面被合並或重定向到別處、以及你發現自己已经没有精力维護它。
蜘蛛池能做的，是把爬虫带到门口；它不能替你把頁面寫好，也不能替你把内容讲清楚。目标頁篩選做得越認真，後面要返工的地方就越少。