蜘蛛进入一个站点，总要有第一步。它不会凭空知道你的 URL，每一轮抓取都得从某个页面开始——可能是首页，可能是 Sitemap，可能是某条外链落到的详情页，也可能是上一轮抓取时留下的、更新比较勤的那几个地址。这些起点就是入口页。入口页稳，蜘蛛进来的第一脚就踩得实；入口页乱，蜘蛛来了也容易在门口打转。
入口页不等于首页
很多人默认蜘蛛每轮都从首页开始，实际情况更杂一些。首页确实是权重最高、最常被访问的入口，但搜索引擎也会记住那些内容更新频繁的页面，把它们当作新一轮的起点。一个每天都在更新的栏目列表页，可能比首页更早被访问到。所以与其纠结首页怎么写，不如把站点里几个更新最勤、结构最清楚的页面都当成潜在入口来对待。
常见的几种入口，各有各的脾气
- 首页：抓取频次通常最高，路径也最短。但首页链接位是稀缺资源，不可能把所有新内容都往上面放。
- Sitemap：适合批量提交 URL，尤其是那些不靠内链串起来、或者埋得比较深的页面。它是入口，但不是替身，别指望光靠它就能让蜘蛛理解站内结构。
- 栏目列表页与最新内容区：更新有节奏，链接数量适中，是蜘蛛比较愿意反复走的第二梯队入口。
- 外链落地的页面：别人链到哪，蜘蛛就可能从哪进。这些页面的内容最好和站点主体相关，别让它变成一个孤零零的末端页面。
- 订阅源或更新接口：部分抓取会参考这类更新信号，前提是内容真实、格式规范。
入口页要满足的几个基本条件
- 返回 200，内容稳定，不要今天是这样、明天打开变成空壳。软 404 是入口页最忌讳的状态。
- 页面用 HTML 就能看到链接，不要全靠在浏览器里跑脚本才渲染出来。抓取器看到的是源码，源码里没有链接，就没有下一步。
- 响应速度别太差。入口页是整轮抓取的起点，它慢一拍，后面顺着它走的所有页面都会往后拖。
- 跳转链尽量短。入口页直接指向目标页面最好，中间隔两三层重定向，每多一跳都是一次额外开销。
- 链接指向的位置要能反映站点结构。入口页如果只连到几个无关页面，蜘蛛顺着走两下就找不到方向了。
给新内容多留一条进来的路
新 URL 最难的不是被收录，而是先被发现。如果它只有一条内链，而且那条内链还在一个深层页面的角落，从发布到被抓，中间可能要等很久。做法并不复杂：在首页的新鲜内容区、栏目的最新列表、相关文章模块里给它留出位置，哪怕只放几天。多个入口指向同一个新页面，并不是浪费，而是给蜘蛛提供了几条不同的到达路线。
要注意的是，入口位不要全被旧内容占着。如果一个栏目列表页几个月没换过链接，蜘蛛再来几次发现没变化，自然就懒得再来了。
用日志回看入口页的表现
- 哪些页面几乎每轮都出现在早期的抓取记录里，它们就是事实上的入口页。
- 入口页的返回码分布如何，有没有混进大量 404、5xx 或者 3xx。
- 入口页被抓之后，蜘蛛有没有继续顺着上面的链接往下走，还是抓完就离开。
- 同一入口页的平均响应时间有没有明显波动。
几个容易被忽略的坑
- 入口页被 CDN 缓存成旧版本，新链接迟迟不出现在源码里。
- 入口页上的链接被加了一堆 nofollow，蜘蛛看得见却走不下去。
- 入口页本身参与了多跳重定向，蜘蛛每次都得先跟一段跳转才能落地。
- 入口页内容频繁但无意义地变化，蜘蛛每次看到的东西都不一样，反而增加了它的判断成本。
入口页只是起点。蜘蛛最终抓多少、抓多深，取决于站点整体结构、内容更新节奏和服务器的稳定程度，单独改一处通常不会有立竿见影的变化，把它当成长期维护的一部分更合适。
把入口页当成一件需要定期检查的事：看看它们还在不在、还是不是 200、上面的链接还指不指得动。这些事情花不了多少时间，但它们决定了蜘蛛每一轮进门时，看到的是一个清晰的站，还是一团需要慢慢摸索的线。