蜘蛛池里的入口页，很多不是卡在抓取环节，而是根本没被找到。首次发现和后续重访是两件事：前者决定蜘蛛知不知道这个 URL 存在，后者决定它还愿不愿意回来。这篇文章只谈第一件事。
蜘蛛通常从哪几条路找到新 URL
搜索引擎发现新地址的途径是有限的，入口页上线之后，能指望的基本就是下面几种：
- 站内已有链接：从已经被抓取过的页面给出一个普通 a 标签链接，是相对稳定的路径。
- 外部链接：其他站点给出的链接，尤其是本身被抓取频繁的页面上的链接。
- sitemap：主动提交的地址清单，能缩短发现时间，但不保证被抓。
- 提交接口：搜索引擎提供的 URL 提交入口，适合少量重要地址。
- 历史抓取队列：同一域名下出现过的地址模式，蜘蛛会按规律做试探性访问。
入口页刚上线时，可以先做这几件事
- 确认页面返回 200、内容可读，没有被 robots.txt 或防火墙挡掉。
- 从一个已有入口页或栏目页给出站内链接，别让新页面孤立存在。
- 把新地址补进 sitemap，并保持 sitemap 本身可访问、格式正确。
- 需要时通过提交接口推送少量关键地址，不要一次推几千条。
- 盯访问日志，确认是否有蜘蛛 UA 请求过，而不是只看统计报表。
几个容易踩空的做法
只提交，不给链接
提交接口解决的是“告诉它有这么个地址”，链接解决的是“这个地址值不值得抓”。只提交不给链接，往往只是把地址放进队列排队，排到什么时候很难预估。
新域名、大批量同时上线
整批新域名同时上线，蜘蛛面对的是陌生的域名、陌生的 IP、陌生的模板，抓取意愿会被摊薄。分批上线，先让一批被访问过，再放下一批，节奏会可控得多。
入口页的导航靠 JS 拼出来
如果链接只存在于 JS 渲染后的 DOM 里，而服务端返回的 HTML 中什么都没有，蜘蛛能看到的链接就很少。想让链接稳定被跟入，最好让它出现在原始 HTML 中。
首次发现只是起点。地址被找到不代表被收录，也不代表长期被抓取，后面还要看内容质量和站点整体表现。
关于入口页地址的形态
同一域名下，地址结构是否有规律，会影响蜘蛛的试探性抓取。完全随机的长串参数地址，蜘蛛很难从已有地址推测出下一条；相对规律、层级清晰的路径，更容易被顺着摸到。不过规律性也要适度，过度可预测的批量地址反而容易被识别为批量生成。
怎么确认蜘蛛真的来过了
看访问日志时，重点关注几个字段：请求时间、UA、请求的 URL、返回状态码。如果在日志里看到蜘蛛 UA 请求了新入口页并且返回 200，说明这一步算是走通了。如果只有自己的测试请求，那说明发现环节还没生效，这时先回去检查链接和 sitemap，不要把精力花在调整页面细节上。
把首次发现和日常维护分开看，思路会清楚很多：先保证能被找到，再考虑值得再来。