蜘蛛池的讨论大多集中在入口頁：域名怎么選、模板怎么做出差异、互鏈怎么排。但蜘蛛沿着入口頁走過来之後，真正落到的是目标頁。入口頁决定了蜘蛛来不来，目标頁决定了這一趟值不值得。
入口頁和承接頁的分工
入口頁的任務是提供一條可被發現的路径，把爬虫带到目标頁。它不需要承载轉化，也不必寫得很好看。承接頁則相反，它是你希望被看到、被理解、被繼續抓取的那一层。两者的寫法、更新频率、甚至主机资源都可以分開考虑。
常见的問题是入口頁做得细致，目标頁却是随手拿的舊頁面：内容半年没動、模板是几年前的老站、打開要等三四秒。這样的组合下，蜘蛛来了也只會看一眼就走。
承接頁的第一件事是能稳定打開
- 狀態碼：返回 200，不要在承接頁上做 302 到另一個地址。跳轉鏈越長，爬虫跟丢的概率越高。
- 跳轉路径：如果入口頁本身已经是跳轉，目标頁就不要再跳，一次到位。
- 可訪問性：確認目标頁没有被 robots.txt、meta robots 或登入墙挡在外面。入口頁放行、目标頁屏蔽，是白跑一趟的典型。
- 加载表現：首屏内容服務端就能给出，別把正文交给一長串前端請求之後再渲染。
内容上要和入口頁接得上
入口頁讲什么，承接頁最好就顺着讲什么。如果入口頁主题是某類设备的選购，承接頁却是完全無關的行业资讯，蜘蛛虽然不至于因此惩罚，但會明顯降低對這批頁面的信任度，後續给到的抓取額度也可能缩水。
這不是要求两邊文案一模一样，而是主题要有交集。入口頁可以更泛，承接頁更具体，方向一致就够了。
给蜘蛛留一條繼續走的路
蜘蛛落到承接頁之後，如果頁面是個“死胡同”，没有内鏈、没有相關推荐、没有列表入口，這次抓取基本就到此為止。可以做的有几件：
- 在承接頁里放出同主题的若干内鏈，指向站内其他值得抓的頁面。
- 把承接頁纳入 sitemap，让爬虫下次不必只靠入口頁找過来。
- 避免把正文里的連結全部做成 JS 跳轉或需要点击才展開的形式。
内鏈數量不必多，几條真正相關的就够，堆几十條反而會稀释權重。
几個容易踩的坑
- 承接頁是纯图片或纯视频頁：正文文字太少，爬虫能讀到的内容有限。
- 承接頁挂满彈窗和浮层：不影响爬虫讀源文件，但會让頁面结构變得杂乱，也让真實訪問体驗變差。
- 承接頁長期不更新：内容本身可以稳定，但标题、更新時間、相關推荐這些字段最好有正常的變動痕迹。
- 把承接頁当成流量终点：只想着這次抓取，不安排下一步，等于每来一次就断一次。
怎么確認蜘蛛真的走到了承接頁
不要只看入口頁的日誌。可以在承接頁的訪問日誌里按爬虫 UA、按路径篩選，看這几個字段是否正常：
- 請求路径與狀態碼
- 請求時間與来源 IP 段
- Referer 是否来自入口頁或站内其他頁面
- 同一爬虫在一段時間内回訪承接頁的次數
如果入口頁有大量爬虫訪問，承接頁日誌却干干净净，問题多半出在跳轉方式、robots 配置或者目标頁本身不可達上。
蜘蛛池能做的只是把路铺出来，承接頁能不能接住，取决于頁面本身。抓取量不等于收錄量，更不等于排名，這一点在規划阶段就要想清楚。
把入口頁和承接頁当成两件事来管：前者负责被發現，後者负责被讀懂和繼續传下去。两者都到位，蜘蛛池的投入才不至于停在“来過”這一步。