搭建蜘蛛池时，很多人习惯让入口頁直接指向目标站的产品頁、文章頁等深层 URL，理由是首頁早就被抓過很多次了，直接给深层頁看起来更快。這個思路本身没有错，但最终能不能起作用，取决于几個容易被忽略的前提。
搜尋蜘蛛從入口頁發現連結的基本流程
蜘蛛訪問入口頁时主要做两件事：解析頁面内容、提取其中的連結。提取到的 URL 會進入待抓取队列，之後按它自己的調度逻辑决定什么时候来抓、抓几次。也就是说，入口頁只负责让蜘蛛知道某個 URL 存在，並不负责让它被抓取，更不等于收錄。從發現到真正抓取，可能隔几分钟，也可能隔很多天，取决于目标站本身的抓取预算和整体權重。
指向深层頁和指向首頁，差別在哪
發現环节：深层頁确實更直接
如果目标站的首頁連結结构正常，蜘蛛可以從首頁一层层爬到深层頁，只是路径長、消耗次數多。入口頁直接给出深层 URL，等于把路径压缩成一步，在發現环节是有優势的。
抓取环节：决定權在目标站
蜘蛛抓到深层頁之後，還會解析這個頁面里的連結，判断它是否值得再次訪問。如果這條深层頁在目标站内部没有任何内鏈、導航、面包屑指向它，也没有其他頁面引用，它就成了孤岛頁。孤岛頁往往只會被訪問一次，之後很难有下一次抓取。這时候入口頁出現得再频繁，能带来的變化也有限。
深层頁容易被放弃的几種情况
- URL 带會變化的參數，每次生成的地址都不一样，蜘蛛每次看到都当成新頁面。
- 頁面内容依赖前端渲染，返回的 HTML 里几乎没有正文，蜘蛛拿到的是空壳。
- 目标站改版後舊 URL 没做處理，入口頁還在指向已经失效的地址。
- 深层頁层級過深、内容單薄，抓取一次後蜘蛛判断该路径價值不高。
怎么判断入口頁對深层頁有没有起作用
最直接的办法是對比两邊的服務器日誌：入口頁日誌里蜘蛛的訪問時間、次數，目标站日誌里對應深层 URL 的訪問记錄、返回狀態碼、两次抓取之間的間隔。如果目标站日誌中這條 URL 只在最初出現過一两次、之後彻底消失，說明入口頁完成了發現這一步，但没能让它進入稳定抓取。這时候要修的是目标站的内部结构，而不是繼續加更多入口頁。
更稳妥的做法
- 入口頁優先指向那些在目标站内已有正常内鏈、只是位置較深的頁面。
- 同时在目标站内补齐内鏈，比如相關推荐、分類頁、标簽頁、面包屑導航。
- 把 sitemap 或搜尋平台的 URL 提交工具作為入口頁之外的补充通道。
- 入口頁上的目标連結保持稳定，不要频繁改動地址或附加临时參數。
- 定期比對入口頁與目标站日誌，剔除已经失效或長期不再被抓的連結。
入口頁解决的是蜘蛛知不知道這個 URL，目标站的内部结构解决的是蜘蛛愿不愿意反复来抓。這两件事不能互相替代。
還需要注意的是，入口頁能提高 URL 被發現的概率，但能不能被抓取、能不能被收錄，取决于目标頁自身的内容质量、加载速度、服務器稳定性和站内结构。把入口頁当成唯一的抓手，通常不會有稳定结果。