很多人默认蜘蛛是从首页开始，一层层往下爬。实际抓取更像多路并行：首页、栏目页、Sitemap、站外链接、更新提交接口，都可能是某条 URL 的第一跳。某个入口失效，蜘蛛未必不来，但可走的路径会明显变窄，新页面被发现的速度也会慢下来。
常见的几类抓取入口
首页与栏目导航
首页是多数站点最稳定的入口，但它的价值不在首页本身，而在于导航把蜘蛛带向哪些栏目。如果主要栏目只靠悬浮菜单或点击后才加载，蜘蛛首轮可能只看到首页的一小部分链接。
Sitemap 与索引文件
Sitemap 解决的是“蜘蛛知道有这些 URL”，不保证一定抓。它更大的意义是给深层页面一个不依赖内链的入口，尤其是新上线的目录。文件本身要能被访问、格式正确、只放返回 200 的规范 URL。
站外链接
外链是一条经常被忽略的入口。指向栏目页或文章页的外链，能让蜘蛛绕过首页直接到达深处。如果外链指向的是跳转链、404，或需要登录才能看的页面，这条入口基本就废了。
更新提交与 Feed
搜索平台提供的提交方式、站点自身的 RSS 或更新 Feed，都可以作为补充入口。它们不承诺收录，作用主要是把“刚刚变化”的信号递出去，让蜘蛛更早知道有东西值得看。
被外部引用的深层页
有些页面没有内链，却因为被论坛、聚合站引用而被抓到。这种入口不稳定，一旦对方删链，页面很可能重新变成孤岛。
怎么判断哪个入口在起作用
- 在服务器日志里按蜘蛛 UA 过滤，看某条 URL 首次被抓时，前一跳的 Referer 是什么。
- 对比 Sitemap 的抓取记录：文件被请求的频率，和文件里 URL 被实际抓取的比例。
- 记录新 URL 从发布到第一次被抓的时间差，入口多、路径短的站点，这个时间通常更短。
- 看抓取是集中在首页和列表页，还是能持续深入到详情页，这能反映入口的通畅程度。
入口常见故障与排查顺序
- robots.txt 误拦。先确认 Sitemap 文件本身、静态资源目录没有被 Disallow 挡住。
- Sitemap 打不开。检查是否 404、返回 5xx、内容为空，或被 CDN 缓存了旧的错误响应。
- 导航不可见。菜单用 JS 渲染、链接用按钮替代、关键入口藏在图片里，都会让蜘蛛拿不到链接。
- 外链失效。抽查主要外链的目标地址，看是否经过多次跳转、落到 404，或指向被屏蔽的路径。
- 服务器响应慢。入口页打不开或超时，蜘蛛会降低来访频率，后面所有路径都会受影响。
让入口更稳的几个习惯
- 重要栏目和内容，至少有两条不同入口：导航一条，Sitemap 或正文内链一条。
- Sitemap 按内容类型分段，出问题时能快速判断是文件问题还是页面问题。
- 上线新目录时，先在首页或频道页给一个固定链接，再提交 Sitemap。
- 定期从日志里挑几条久未被抓的 URL，反向检查它们的入口是否还在。
入口的价值不是“多”，而是“通”。一条能稳定走到目标页的路径，胜过五条看起来存在、实际中途断掉的链接。
抓取诊断可以简单一点：不要只盯着蜘蛛来没来，而是看它是从哪条路进来的、走到哪一层停下。把入口列表整理清楚，逐个验证，多数“蜘蛛不抓新页面”的问题，都能在入口这一层找到线索。