为什么值得在上线前过一遍清单

蜘蛛池上线之后，第一波抓取通常只来自少量蜘蛛。如果此时解析、状态码或跳转链路存在问题，损失的不只是一次抓取机会，入口页还可能在之后一段时间里被降频访问。上线前花半小时逐项确认，比起上线后从日志里倒推原因要省事得多。

一、域名与解析

• 解析是否生效：用本地网络、服务器和公共 DNS 分别查询，确认返回的是预期 IP。
• TTL 设置：刚上线或刚更换 IP 时，TTL 不宜过长，方便出问题时快速调整。
• 是否绑定正确：同一 IP 上如果有多个站点，确认 Host 头与证书匹配，避免默认站点把请求接走。
• HTTPS 证书：证书过期、证书链不完整，都可能让蜘蛛在握手阶段就放弃。

二、入口页本身能不能正常打开

• 用 curl 或无痕浏览器直接访问，确认返回的不是 WAF 拦截页、验证码页或空白页。
• 检查是否被 CDN、防火墙的默认规则误伤，尤其是来自海外节点和非常用 UA 的请求。
• 页面首屏内容是否写在 HTML 里，而不是完全依赖 JS 渲染后再呈现。

三、状态码与 robots 规则

状态码决定了蜘蛛对页面的基本判断。上线前至少要确认：正常入口页返回 200；临时维护用 503 而不是 404；确定要迁移时才用 301，并且注意不要形成跳转链。robots.txt 与页面 meta robots 也要核对一遍，入口页被自己的规则挡住是最常见、也最容易忽略的低级问题。

四、链接与跳转路径

• 入口页到目标 URL 的链接是否真实存在于 HTML 中，能否被直接解析。
• 跳转层数是否过多，中间任何一层出问题，整条链路就断了。
• 目标 URL 是否可访问、是否返回 200、是否被 robots 拦截。
• 锚文本与 URL 参数是否会造成同一条链路产生大量重复地址。

五、日志与监控是否就位

上线前就应该能拿到服务器访问日志，并且能按状态码、UA 和路径进行筛选。建议至少记录：蜘蛛 UA、来访时间、请求路径、响应码、响应时间、来源 IP。没有日志的蜘蛛池，等于闭着眼睛调参数，改了什么、有没有效果都说不清。

六、分批上线，先小范围观察

不要一次性把所有入口页全部挂上去。先放一小批，观察一到两周内的抓取情况：有没有蜘蛛来访、抓的是哪些路径、是否出现异常高频或大量 4xx、5xx。确认链路通畅之后再逐步增加，比一次性铺开更容易定位问题所在。

容易被漏掉的几件事

• 测试环境与正式环境混用同一批域名，日志里真假难辨。
• 服务器时间不准，日志时间与实际抓取时间对不上。
• 只测了首页，没有抽查由同一模板生成的其他入口页。
• DNS 配了多条 A 记录，其中一条 IP 其实已经不可用。

自查清单的作用不是保证被抓取，而是排除那些明显的人为故障。抓取量多少、抓取频率如何，最终仍由搜索引擎决定。