蜘蛛發現 URL，主要靠連結走
搜尋引擎發現新 URL 的入口有好几個，sitemap、外部連結、提交接口都算，但日常最稳定、量最大的還是站内連結跳轉。蜘蛛從一個已知頁面出發，顺着頁面上的連結往下走，能走到哪一层，取决于你在站内怎么连。
于是就有一個很實际的問题：同一個新頁面，挂在首頁推荐位，和埋在第五层分類的“更多”里，被發現的概率和時間差別不小。這不神秘，也不涉及什么特殊技巧，只是連結路径長短带来的自然结果。
点击深度是什么，為什么值得單獨看
点击深度，指從站点入口頁（通常是首頁）出發，点到某個頁面最少需要几次跳轉。距离首頁一跳的頁面，和距离首頁五跳的頁面，在蜘蛛的抓取計划里通常不會排在同一個優先級。
常见的情况是：重要内容建得比較晚，或者改版时被挪進了深层目錄，連結层級一下子變深，收錄速度随之變慢。這时候很多人第一反應是内容质量問题，其實先看一眼点击深度更省事。
- 首頁、主導航：1 跳以内
- 频道頁、一級分類：2 跳左右
- 詳情頁：3 跳上下比較常见
- 翻頁、篩選、“更多”里的頁面：容易滑到 4 跳以上
不是说超過某個跳數就一定收不到，而是同样一批頁面，浅的更容易被優先抓到。
孤岛頁面：蜘蛛找不到，不等于你的頁面没價值
所谓孤岛頁面，指站内没有可爬連結指向它，或者只有一條藏在脚本、表單、搜尋框里的路径。它可能存在于 sitemap 里，可能有外鏈，但在站内结构上是断開的。
孤岛頁面的常见成因：
- 新頁面上线後只在後台或 App 里露出，Web 版没有入口
- 列表頁是無限滚動，連結由脚本動態插入，HTML 源碼里看不到
- 该頁面只出現在搜尋框的结果里，没有被任何静態連結引用
- 改版时舊入口被删，新入口没补上
這類頁面能不能被收錄，很大程度取决于 sitemap 和外鏈带来的线索，站内帮不上什么忙。數量一多，收錄就會顯得零散、随机。
連結层級怎么铺，三层结构比較稳
導航與频道頁是主干
主干連結要稳定、少變。主導航上的分類，指向的應该是長期存在的频道頁，而不是临时活動頁。主干清晰的站点，蜘蛛每次来訪都能沿着同一套路径覆盖一遍，新内容挂在下面被带到的概率也高。
列表頁與聚合頁负责分發
列表頁是内容頁最自然的入口。要確認列表里的連結是普通的超連結、href 是真實地址，並且在源碼里就能看到，而不是等脚本执行完才出現。分頁也別只留“下一頁”，第一頁到後面几頁的路径最好都能点到。
正文内鏈和相關推荐做补充
正文里自然提到同主题頁面时加連結，比在頁脚堆一大串“热门推荐”更有效。相關推荐控制在几個到十几個，選真正同主题的，別把整站内容都挂上去。
埋了連結還是没收，常见是這几個原因
- 連結由脚本渲染：源碼里没有 href，抓取时可能拿不到
- 連結加了 nofollow 或被 robots.txt 挡住：路径断了
- 頁面本身不该被收錄：比如被 noindex，或内容與其他 URL 高度重复
- 内鏈數量失控：一頁挂几百條連結，蜘蛛分不清哪個重要，實际传递的效果也被摊薄
- 連結指向的是重定向鏈：中間跳几次，容易被中途放弃
先分清是“找不到”還是“找到了不想收”，處理方式完全不同。前者改連結，後者看頁面质量和信号。
自查：快速判断頁面是不是孤岛
- 關掉脚本执行，看頁面源碼里是否存在指向该頁的可点击連結
- 用站内搜尋或抓取工具查這個 URL 的站内入鏈數量，為 0 或只有 1 條就要留意
- 看服務器日誌里這個 URL 有没有被蜘蛛訪問過；訪問過但一直没收錄，問题就轉到頁面质量上
- 检查是否被 robots.txt 拦截，是否有 noindex，canonical 是否指向別處
調整顺序：先接回主干，再看效果
- 把重要的深层頁面，接一條從频道頁或上級列表頁直達的連結
- 新内容上线时同步准备好入口，別只發 sitemap 等
- 把脚本渲染的列表連結改成服務端可见的普通連結
- 清理頁脚和侧栏里的無效堆砌，把連結位留给真正需要發現的内容
- 观察一段時間日誌，看這些 URL 的抓取频次有没有變化，再判断下一步
内鏈的作用是让蜘蛛更容易走到，不是保證被收錄。頁面能否進索引，最终還要看内容本身、重复程度和站点整体质量。連結层級能解决的是“發現”這一段，後面的判断不归它管。