蜘蛛进站之后的第一批 URL，通常不是随机挑的。它从已知入口出发，沿着链接往下走。入口页选得合适，抓取路径就宽；入口页选偏了，后面再补 Sitemap、再堆内链，效果也会打折扣。这里的“入口页”不是严格的技术术语，可以理解为：蜘蛛在没有站内上下文时，最可能先落地的那些页面。
蜘蛛眼里有哪些入口
外链指向的页面、首页、Sitemap 里列出的 URL，以及历史抓取记录里表现稳定的页面，都会成为入口。它们的作用并不一样：
- 首页：链接密度高，能让蜘蛛快速看到站点的大致结构，但也容易被导航和推荐位稀释。
- 栏目页与列表页：直接连着大量正文，是扩展抓取面的主要通道。
- Sitemap 中的 URL：回答的是“有哪些页面”，不保证马上抓，但能补充入口的广度。
- 外链落地页：外部给过来的入口，蜘蛛会把这个起点当作相对可信的位置，从它往下走。
挑入口页时看什么
不用把每个页面都做成入口，但被当作入口的那几个，值得单独检查：
- 能不能稳定返回 200，服务器抖动时它是不是第一个倒下的。
- 从它到正文的跳数是否够短，两三跳内能摸到内容页最好。
- 页面上的链接是否指向真实存在的 URL，有没有大量失效或重定向的链接混在里面。
- 内容是否真的会更新，长期不动的入口页，抓取频次也会慢慢降下来。
入口页与抓取深度的关系
蜘蛛的抓取是有节奏的：一批 URL 抓完，再从结果里挑下一批。入口页如果集中在同一层、同一种类型，蜘蛛容易在某一层就耗尽兴趣；入口页分散在不同栏目、不同层级，抓取路径才会自然铺开。
入口页不是越多越好，而是要让蜘蛛从一个入口出发，能走到足够多、彼此不同、且都有价值的目的地。
几个常见的入口设置问题
- 把所有入口都压在首页，导航之外的页面长期得不到发现。
- 入口页依赖 JS 渲染才有链接，HTML 源码里几乎是空的。
- 入口页返回 200，但正文为空，形成软 404 式的消耗。
- 几个入口页互相跳转成环，蜘蛛在里面绕圈子，走不出去。
落地检查顺序
- 先看服务器日志里，蜘蛛实际落地的页面是哪几个，而不是你以为的那几个。
- 对比 Sitemap 提交的 URL 与实际被抓的 URL，差集往往就出在入口设计上。
- 检查入口页到正文的路径是否通畅，中间有没有断链、重定向链或孤岛页。
- 确认服务器在抓取高峰时段的响应时间，入口页本身要扛得住。
入口页的作用是给蜘蛛一个合理的起点，让它自己把路径铺开。它决定不了收录和排名，但会影响蜘蛛愿意在你站内走多远、走多勤。把入口页当成站点结构的一部分来打理，比事后补链接要省力得多。