讨论蜘蛛池时，大家更关心目标 URL 有没有被抓取，但有一个更靠前的环节常被忽略：入口页自己有没有进入搜索蜘蛛的待抓队列。入口页如果长期不被访问，挂在它上面的目标链接也就失去了被顺藤摸瓜发现的机会。本文把“入口页自身如何被发现”这件事拆开说清楚。
入口页自己也需要一个被发现的理由
搜索蜘蛛不是随机漫游的，它的抓取起点来自几个相对固定的来源：已收录页面的链接、站点地图、主动提交的地址，以及历史抓取记录形成的回访习惯。入口页如果不在这些来源里的任何一个，它对新访客来说就等于不存在。所以当发现“目标 URL 很久没被抓”时，第一步不是继续加链接，而是先确认入口页本身有没有被抓取记录。
入口页常见的发现途径
站点地图与历史抓取
把入口页放进 sitemap，是最直接的方式，前提是 sitemap 本身可访问、格式正确，且里面的 URL 返回正常状态码。如果入口页曾经被抓取过，后续被回访的概率会明显提高，这也是为什么老域名下的入口页通常比全新站点的入口页更容易维持抓取节奏。
外部链接与站内链接
一个可被爬取的链接，往往比任何提交都更稳定。入口页如果能从其它已被抓取的页面获得链接，就相当于有了持续的引路。相反，孤立的入口页即使内容正常，被发现的速度也会慢很多。
主动提交
各搜索引擎都提供了 URL 提交入口，可以在入口页更新后主动提交一次。注意提交只是提示，不保证抓取时间，更不保证收录，把它当作加速线索而不是开关更合适。
入口页没被抓到时，目标 URL 还有机会吗
- 如果目标 URL 同时出现在 sitemap 或其它已被抓取的页面上，它仍可能被独立发现；
- 如果目标 URL 只有入口页这一条路径，那么入口页不被抓，它基本就没有被发现的机会；
- 如果入口页被抓过，但目标链接要等脚本执行后才出现，能否被发现取决于搜索引擎的渲染能力，稳定性不如静态 HTML 链接。
这也是多路径冗余的价值：同一个目标 URL 通过站点地图、入口页链接等不同方式暴露，某一条路径失效时不会直接断档。
自查顺序建议
- 看服务器日志，确认入口页最近一次被抓取的时间；如果完全没有记录，先解决入口页的发现问题。
- 确认入口页返回 200，没有 robots.txt 拦截，也没有会干扰抓取的指令。
- 检查入口页是否有可抓取的入站链接，必要时补充站内或站外链接。
- 把入口页写入 sitemap，并确认 sitemap 能被正常访问。
- 观察一段时间后，再看目标 URL 是否开始出现在日志里，再决定是否调整链接结构。
入口页不被抓，往往不是“蜘蛛池质量差”，而是它缺少被抓的理由。先把入口页送进抓取队列，再谈目标 URL 的发现效率。
小结
入口页是目标 URL 被发现的一条通道，但它本身也需要通道。把入口页的可发现性、可访问性和链接来源这三件事确认清楚，比不断堆链接更能解释“为什么没被抓”这个问题。