不少站点把注意力都放在首页，默认蜘蛛从首页进来，顺着导航一路往下抓。实际情况要复杂一些：蜘蛛会记住一个站点的多个入口，哪个入口打开顺利、返回内容稳定，它就更愿意从那里继续走。入口设计得好不好，URL 被发现的速度会明显不一样。
首页是默认入口，但不是唯一入口
首页的价值在于它通常是全站内链最密集的地方，抓取频次也最高。但如果首页长期不稳定、返回 5xx，或者被 robots.txt 误屏蔽，蜘蛛并不会因此停止访问站点，而是转向它已经记录下来的其他 URL，这些 URL 就成了事实上的入口。
常见的几个抓取入口
- 首页与主导航：最稳定的入口，导航结构改动时要留意深层页面是否被顺带切断。
- XML Sitemap：告诉蜘蛛有哪些 URL，但它只是线索，不是抓取指令。
- 内链：列表页、面包屑、相关推荐都是蜘蛛在站内扩散的路径。
- 外链：友链、被转载的文章、论坛与社交平台上的链接，蜘蛛会带着来源页的语境打开。
- 历史 URL：蜘蛛对曾经抓过的地址有记忆，旧链接即使页面改版也仍可能被访问。
- Feed 与推送接口：RSS/Atom、主动推送通道，能让新 URL 更快进入抓取队列。
入口的数量不等于入口的质量
与其到处铺入口，不如先确认每个入口页本身是否正常：返回码是否为 200，是否被 noindex 或 robots.txt 挡住，是否只是一个 302 跳转的中间页。入口页自己都抓不顺，后面那一层页面自然也很难被发现。
怎么判断蜘蛛实际走的是哪条路
服务器日志是主要依据。按时间排序，观察蜘蛛在同一段会话里连续请求的 URL 顺序，通常能看出它是从列表页进入详情页，还是直接跳到了某个深层地址。部分蜘蛛会带 Referer，可以直接看到来源页；不带的，就用访问顺序和路径规律去推断。另一个信号是频次：某个页面自身被频繁抓取，而它周围都是内容页，它很可能就是这个站点的实际入口。
日常维护的检查项
- 把 Sitemap 里的 URL 和站内实际可点击到的 URL 对一遍，差异过大的部分单独排查。
- 检查入口页的返回码与响应时间，响应过慢的入口页容易被降低抓取频率。
- 确认 robots.txt 没有误伤导航、列表页等结构性页面。
- 新内容发布后，至少给出一条稳定、可长期访问的入口链接。
- 定期回访外部入口，失效的外链不必刻意保留。
对蜘蛛来说，稳定的入口比数量更多的入口更有价值。它记住的往往不是你想让它走的那条路，而是它走得最顺的那条路。
把入口当成站点结构的一部分来维护，定期看日志、看返回码、看内链有没有断，URL 的发现效率会稳定下来。抓取这件事没有一劳永逸的设置，更多是持续的检查和微调。