搭建蜘蛛池时，很多人习惯让入口页直接指向目标站的产品页、文章页等深层 URL，理由是首页早就被抓过很多次了，直接给深层页看起来更快。这个思路本身没有错，但最终能不能起作用，取决于几个容易被忽略的前提。
搜索蜘蛛从入口页发现链接的基本流程
蜘蛛访问入口页时主要做两件事：解析页面内容、提取其中的链接。提取到的 URL 会进入待抓取队列，之后按它自己的调度逻辑决定什么时候来抓、抓几次。也就是说，入口页只负责让蜘蛛知道某个 URL 存在，并不负责让它被抓取，更不等于收录。从发现到真正抓取，可能隔几分钟，也可能隔很多天，取决于目标站本身的抓取预算和整体权重。
指向深层页和指向首页，差别在哪
发现环节：深层页确实更直接
如果目标站的首页链接结构正常，蜘蛛可以从首页一层层爬到深层页，只是路径长、消耗次数多。入口页直接给出深层 URL，等于把路径压缩成一步，在发现环节是有优势的。
抓取环节：决定权在目标站
蜘蛛抓到深层页之后，还会解析这个页面里的链接，判断它是否值得再次访问。如果这条深层页在目标站内部没有任何内链、导航、面包屑指向它，也没有其他页面引用，它就成了孤岛页。孤岛页往往只会被访问一次，之后很难有下一次抓取。这时候入口页出现得再频繁，能带来的变化也有限。
深层页容易被放弃的几种情况
- URL 带会变化的参数，每次生成的地址都不一样，蜘蛛每次看到都当成新页面。
- 页面内容依赖前端渲染，返回的 HTML 里几乎没有正文，蜘蛛拿到的是空壳。
- 目标站改版后旧 URL 没做处理，入口页还在指向已经失效的地址。
- 深层页层级过深、内容单薄，抓取一次后蜘蛛判断该路径价值不高。
怎么判断入口页对深层页有没有起作用
最直接的办法是对比两边的服务器日志：入口页日志里蜘蛛的访问时间、次数，目标站日志里对应深层 URL 的访问记录、返回状态码、两次抓取之间的间隔。如果目标站日志中这条 URL 只在最初出现过一两次、之后彻底消失，说明入口页完成了发现这一步，但没能让它进入稳定抓取。这时候要修的是目标站的内部结构，而不是继续加更多入口页。
更稳妥的做法
- 入口页优先指向那些在目标站内已有正常内链、只是位置较深的页面。
- 同时在目标站内补齐内链，比如相关推荐、分类页、标签页、面包屑导航。
- 把 sitemap 或搜索平台的 URL 提交工具作为入口页之外的补充通道。
- 入口页上的目标链接保持稳定，不要频繁改动地址或附加临时参数。
- 定期比对入口页与目标站日志，剔除已经失效或长期不再被抓的链接。
入口页解决的是蜘蛛知不知道这个 URL，目标站的内部结构解决的是蜘蛛愿不愿意反复来抓。这两件事不能互相替代。
还需要注意的是，入口页能提高 URL 被发现的概率，但能不能被抓取、能不能被收录，取决于目标页自身的内容质量、加载速度、服务器稳定性和站内结构。把入口页当成唯一的抓手，通常不会有稳定结果。