新页面已经上线，服务器日志里却一直找不到蜘蛛的请求记录，这种情况通常不是页面内容的问题，而是它没有被放进一条可走的路径里。蜘蛛只会从已知的地址出发，顺着链接、站点地图或提交数据去发现新 URL。想让一个新地址尽快被看到，需要按顺序解决三件事：不被拦住、有入口、能验证。
先排除根本走不进来的情况
在优化入口之前，先确认页面没有被自己挡住。以下任意一条命中，后面加多少内链都很难看到效果。
- robots.txt 中对该目录或参数做了 Disallow；
- 页面 head 里有 noindex。注意 noindex 是不让索引，通常仍允许抓取，但如果同时被 robots 屏蔽，蜘蛛连内容都读不到；
- 链接由脚本点击后才生成，HTML 源码里没有可跟随的地址；
- 页面在登录、会员或表单提交之后才可见；
- 链接带有 nofollow，或整段内容被前端框架延迟加载。
内链是最稳定的入口
站点地图和提交接口都属于告知，而内链属于可走到的路。绝大多数新页面能被发现，是因为它从某个已经被频繁抓取的页面链了出来。
放在哪里更有效
- 优先选抓取频次高的页面：首页、主栏目页、近期更新的列表页；
- 避免把新链接埋在页脚上百条链接中，位置越靠近主体内容越容易被跟随；
- 用普通的 a 标签 href 输出地址，不要只靠按钮的点击事件；
- 一次性加三五个入口即可，同一链接在一页里重复多次没有额外收益。
Sitemap 要说清楚，而不是铺得多
站点地图的价值是提供一份直接可读的 URL 清单，尤其适合内链层级深、或者入口不容易安排的历史页面。写法上注意几点：
- 只放希望被索引的地址，把参数页、筛选结果、测试页排除掉；
- lastmod 填真实修改时间，频繁无意义地刷新会让这个字段失去参考价值；
- 数量大时使用分片和索引文件，并保证每个分片都能正常访问；
- sitemap 里出现的地址尽量返回 200，避免大量重定向和 404 混在其中。
主动提交与其他通路
各搜索平台提供的 URL 提交入口适合新站或刚发布的重要页面，提交之后不会立刻抓取，但能缩短被发现的等待时间。部分搜索引擎支持 IndexNow 之类的即时通知协议，使用时按文档要求实现即可，不必频繁重复推送同一批地址。此外，RSS 或站点 Feed、合作方的引用链接、内容被外部引用或转载，也可能成为蜘蛛第一次到达的路径。
从发现到确认的检查顺序
- 在服务器访问日志里按蜘蛛 UA 过滤，看目标地址是否出现过请求；
- 确认返回码是 200，没有意外跳转、没有 5xx、没有返回空壳页面；
- 用搜索资源平台的 URL 检查工具查看抓取到的 HTML 是否包含正文与链接；
- 核对页面是否已经进入索引，这一步取决于内容质量与竞争情况，不是提交就能保证。
被发现只是起点。入口解决的是蜘蛛能不能走到，抓取频次和最终展示位置还取决于页面价值、站点整体质量和更新节奏。
几个常被忽略的细节
- CDN 或反向代理缓存了旧版本页面，蜘蛛拿到的是没有新链接的副本；
- 新链接误写成相对路径，导致地址与实际不一致，形成重复或 404；
- HTTPS 证书链不完整，部分抓取客户端连接失败，日志里只留下连接中断；
- 内链指向的地址带追踪参数，和 sitemap 里的规范地址对不上；
- 页面发布后短时间内再次大改结构，入口被临时移除。
把这几步按顺序做完，大多数新页面没人抓的情况都能定位到具体环节，而不必停留在反复提交和猜测上。