一個新頁面發布後，蜘蛛不會自動知道它存在。它要么顺着別人给的連結爬進来，要么從你提交的地址列表里讀到。理解 URL 是怎么被發現的，比反复提交收錄請求更能解决問题。
蜘蛛發現 URL 的几條主要路径
按實际效果排序，大概是這样：
- 站内連結：從已收錄頁面指向新頁面的 a 标簽，是最稳定、最持續的發現渠道。蜘蛛本来就會定期回訪老頁面，連結就是留给它走的路。
- XML sitemap：等于一份候選清單，告诉蜘蛛這些地址值得看看。它是补充，不是保證。
- 外部連結：別的站点鏈過来，蜘蛛顺着爬進来。速度快，但可控性差。
- 站長平台提交：手動或接口推送單個 URL，适合少量、紧急的頁面。
要注意，這些渠道回答的只是蜘蛛知不知道這個地址，不等于它會立刻抓取，更不等于會被收錄。
孤岛頁面是怎么形成的
孤岛頁面指的是：地址真實存在，也能被正常訪問，但從站内任何一個頁面都点不到它，只有 sitemap 或站内搜尋能找到。常见成因有几種。
只寫進了 sitemap，没有内鏈
有些站点用程序批量生成 sitemap，把所有 URL 都塞進去，却忘了在内容頁之間互鏈。结果蜘蛛讀到了清單，却没有理由優先回訪這些地址，抓取节奏完全靠运气。
連結是脚本生成的，且需要交互才出現
点击加载更多之後才插入的連結，如果蜘蛛不执行那段脚本，就看不到。可以先確認連結是否出現在初始 HTML 里，或用渲染後的快照對比一次。
目錄层級太深，入口被折叠
從首頁到目标頁要经過五六层列表，中間還夹着分頁和篩選參數。蜘蛛爬到一半就回头，深處頁面自然長期停留在已發現狀態。
導航和面包屑指错了地方
面包屑指向上級分類，分類頁却因為某種規則把该文章排除在外，連結等于断了。這類問题在老站改版後特別常见。
内鏈不是越多越好，而是位置要對
同样一條連結，放在正文里、放在頁脚、放在侧栏推荐，蜘蛛的回訪频率和對頁面的判断都不一样。比較稳妥的做法：
- 新頁面至少從一個已收錄、有一定抓取频率的頁面正文里鏈過去；
- 重要栏目頁在導航里固定出現，不要只靠首頁轮播；
- 相關推荐、上一篇下一篇這類模块，尽量輸出在服務端 HTML 中。
内鏈的價值不在數量，而在于它让蜘蛛有一條稳定、可重复走的路径回到這個頁面。
几個常见的理解偏差
- 提交到 sitemap 就等于告诉蜘蛛收錄——sitemap 只解决發現，不解决抓取和索引。
- 首頁放一次連結就够了——蜘蛛回訪首頁的频率高，連結在首頁停留的時間却可能很短。
- 頁面有内鏈就一定會被收錄——收錄還取决于内容质量、重复度、站点整体情况等多種因素。
一份可执行的排查顺序
- 在站内沿着導航走一遍，看從首頁点几下能到達這個 URL；
- 查這個頁面被哪些站内頁面連結，連結是否出現在初始 HTML 中；
- 確認頁面不在 robots.txt 的禁止范围内，也没有 noindex 标簽；
- 看服務器日誌里蜘蛛是否訪問過這個地址，訪問频率如何；
- 如果以上都正常，再從内容本身找原因，比如和其他頁面高度重复、信息量過少。
把内鏈理顺，通常比反复提交收錄請求更有效。蜘蛛的行為有惯性：它更愿意沿着自己走過的路径繼續走。给新頁面安排一條清晰的、從已有頁面延伸出来的路，是站点运营里成本較低的一步。