入口页解决的问题是让蜘蛛愿意来，但蜘蛛来了之后走向哪里，是另一件事。不少人把入口页的 URL 结构、更新频率、响应头都调得很细，链接却随手全部指向首页，或者指向一堆和主题无关的聚合页。最后翻日志会发现，抓取记录里几乎全是入口页自己，真正想让搜索引擎知道的页面一次都没出现。
先分清入口页、承接页和目标页
- 入口页：给蜘蛛落脚用，内容通常偏薄，核心作用是让 URL 被发现。
- 承接页：入口页和最终页面之间的中间层，比如栏目页、列表页、标签页。
- 目标页：真正希望被处理、被纳入索引的 URL。
这三者的职责不同。入口页做得再多，也只是把蜘蛛送到门口；目标页能不能被处理，取决于它自己返回什么、robots 怎么写、正文能不能被提取。把入口页当成万能通道，是很多项目跑着跑着没效果的原因之一。
入口页到目标页的链接怎么放
用可被抓取的 a 标签
- href 写完整的绝对 URL，不要用脚本拼接，也不要挂在 onclick 上。
- 如果确实希望蜘蛛过去，就不要在链接上加 rel="nofollow"。
- 链接文本用目标页的实际主题词，避免清一色的“点击查看”“更多”。
位置比数量重要
首屏正文里、正文中段、页脚各放一部分是常见做法。但页脚链接很容易被当成全站模板处理，单独一两个尚可，塞几十个意义不大。正文内的链接上下文更明确，蜘蛛顺着读到的概率也更高。
一个入口页放几个目标链接
3 到 10 个主题相关的链接，通常比堆 100 个不相关的链接更实际。入口页数量多的时候，可以反过来做：每个入口页只负责少数几个目标页，用多个入口页交叉覆盖同一批目标页，而不是让一个入口页承担全部指路工作。
目标页本身要满足的条件
- 返回 200，不要用 302 把蜘蛛甩回首页。
- 不需要登录、不需要额外交互就能看到内容。
- 页面有可提取的正文，不是纯图片站或者纯脚本渲染的空壳。
- robots.txt 和 meta robots 没有把目标页本身挡住。
- 服务器在蜘蛛访问时不要频繁超时，稳定性比速度峰值更重要。
这五条里只要有一条不成立，入口页做得再勤也白搭。目标页被 302 到首页这种情况尤其常见，看上去“有链接”，实际上蜘蛛每跟一次就被弹回来一次。
跨域目标页要不要放
同域名下的目标页最容易理解，路径关系清楚，也方便统一排查。跨域的出站链接仍然可能被跟随，但作用更弱，而且入口页如果全是对外链接，整体形态会偏向外链农场。真要跨域，先确认对方域名自身能不能被正常抓取，否则入口页只是在替一个抓不到的页面做无效导流。
几种常见误区
不要以为把蜘蛛送到目标页就够了，目标页自身的可抓取性才是决定因素。
- 所有入口页都只链同一个首页，其他页面永远没有入口。
- 链接写成 JS 跳转或 meta refresh，蜘蛛拿到的是一段脚本而不是地址。
- 目标页选的是空列表、搜索结果页或参数组合页，本身没有稳定内容。
- 一次接几百个目标页，日志里谁也看不清到底哪条路径被走过。
怎么验证有没有生效
- 查目标页的访问日志，看有没有蜘蛛 UA 以及来源页。
- 查入口页日志，看蜘蛛有没有去请求入口页上的目标链接，这能说明它解析了链接。
- 对目标页做单页核查：状态码、robots、渲染后的可见内容。
- 抽查而不是全量，几百个入口页每天全量翻一遍，时间成本远大于收益。
几条实操建议
- 先小批量试：三到五个入口页配三到五个目标页，跑一周看日志再决定要不要扩。
- 按目标页分组管理入口页，某个目标页出问题时可以整组替换。
- 目标页地址变更时同步改入口页链接，避免留下长期死链。
- 别让程序随机分配目标页，随机组合通常没有主题相关性，也不好排查。
入口页负责被发现，目标页负责被处理，两者职责不同。把链接摆放、目标页可用性和监控口径这三件事做扎实，比继续增加入口页数量更值得投入。