入口盘点要解决什么问题

页面内容做得再好，前提也是先被搜索蜘蛛走到。URL 发现本质上是“站内站外有哪些路可以通向这个地址”，而入口盘点就是把这条路一条条列出来，确认它们没有断开、没有重复、也没有指向不该被发现的页面。

上线新站、批量新增栏目、或者做完一次改版之后，做一轮入口盘点比反复提交 URL 更有价值，因为提交只能解决个别页面，入口决定的是整批页面。

常见入口清单

站内入口

• 导航与栏目标页：通常是最稳定的发现入口，改动前要先确认层级没有加深。
• 正文内链：数量最大，也最容易被忽略，常见问题是链接写成了不可爬取的按钮或 JS 事件。
• 列表页与分页：新增内容大多先出现在列表里，分页断路会让旧内容长期无法被发现。
• Sitemap：适合覆盖面广、内链较弱的站点，但要保证里面都是可返回 200 的规范地址。
• 标签页、归档页、相关推荐：属于聚合型入口，能补充冷门页面，但也容易把低价值页面一起带进来。

站外与补充型入口

• 外部链接：包括友链、合作方链接、社交平台分享地址，注意对方是否加了不该加的属性。
• RSS 或媒体站点地图：适合更新频繁、以内容流为主的站点。
• HTTP 响应头里的 Link 字段、跳转规则、短链服务：属于偏技术型的入口，改版时容易被漏掉。

盘点顺序建议

1. 先固定主机名与协议，确认所有入口都指向同一个规范地址，避免同一页面被写成多个地址。
2. 再从首页出发，按点击深度梳理一遍主要路径，标出深度明显偏大的页面。
3. 对照 Sitemap，检查里面是否存在已下线、已重定向或参数重复的地址。
4. 最后检查补充入口，包括 RSS、跳转规则和历史遗留的短链。

顺序很重要。入口本身互相指向，如果主机名和地址写法没统一，后面的检查结果都会混杂噪声。

用日志验证入口是否真的被走过

清单是主观的，日志是客观的。抓取日志里能看到搜索蜘蛛实际请求了哪些地址、从哪个来源进来。把日志按目录或栏目聚合，就能看出哪些入口是活的、哪些写了却没人走。

如果某个栏目页在日志里长期没有出现，问题通常不在服务器，而在于没有任何一条入口真正指向它。

验证时关注三类信号：重要栏目是否被稳定访问、新增内容从发布到首次被抓取的间隔是否合理、是否出现大量不该被抓取的参数地址。发现异常先回到入口本身，而不是急着调抓取速率。

几个高频问题

入口重复

同一页面通过导航、列表、标签、Sitemap 各出现一次，属于正常叠加；但如果这些入口写的是不同地址（带参数、带大小写差异、带尾斜杠差异），就会变成重复发现，稀释真正的入口价值。

入口断路

分页链接只保留了“下一页”、筛选条件生成大量无内容页、跳转层级过深，都会让蜘蛛提前停止。改版后尤其要复查一遍分页和跳转规则。

服务器不稳定

响应不稳时，抓取节奏会放缓甚至暂停，入口再多也无法被完整走完。入口盘点的最后一步，通常是回到服务器可用性上做确认。

小结

入口盘点不是一次性工作，而是随着栏目增删、改版、迁移反复进行的例行检查。先把入口铺清楚，再谈抓取效率，顺序反了，后面的优化多半会白做。