有些頁面在後台能看到，從首頁一路点却点不到——没有導航入口，没有列表連結，也没有其他頁面提到它。這類頁面通常被称為“孤立頁面”。它們的内容不一定差，但被發現的机會明顯更少。想让它們進索引，第一步不是反复提交，而是搞清蜘蛛是從哪條路走到它的。
URL 被發現，靠的是几條固定通道
搜尋引擎拿到一個新 URL，大致有几條路径：站内連結、sitemap 文件、外部連結，以及站長主動提交的接口。這几條通道解决的問题並不一样，也不能互相完全替代。
站内内鏈：最稳定的一條
蜘蛛沿着連結走是最自然的方式。一個頁面只要從首頁或某個经常被抓取的列表頁，经過两三次点击就能到達，它被發現的机會就明顯高于藏得很深的頁面。内鏈不要求多，但要求有——哪怕只有一條從相關頁面正文里指向它的連結。
Sitemap：列出 URL，但不保證被抓
把地址寫進 sitemap，等于告诉搜尋引擎“這里有個頁面”。它解决的是“知道存在”的問题，不解决“什么时候来抓”。如果站点整体被訪問的次數有限，或者 sitemap 里一次塞了几萬個 URL，新加的那一條可能排很久。
外部連結：能带来新入口，但不是越多越好
其他站点指向你的連結，會让蜘蛛從站外走進站内。對完全没有内鏈的新頁面来说，一條来自经常被訪問頁面的外鏈，有时比十條無意义的連結更有效。至于常被提到的蜘蛛池，思路就是靠大量頁面互相連結、互相引導蜘蛛。實际使用中要注意：质量低的連結群本身也可能不被信任，带来的是無效訪問而不是收錄。把它当成唯一手段，風險大于收益。
主動提交：适合新頁面和刚改動的頁面
多數搜尋平台提供提交接口，适合新發布或刚修改過的 URL。它加快的是“通知”這一步，仍舊不承诺一定被抓、一定被索引。提交一次即可，反复提交並不會加快進度。
為什么寫進 Sitemap 的 URL 還是没動静
- 文件本身有問题：格式错誤、编碼不對、被 robots.txt 挡住，或其中的 URL 返回的不是 200。
- 頁面没有入口：sitemap 里有它，但站内没有任何連結指向它，這類地址往往被排到後面。
- 站点整体抓取配額被大量低價值頁面占用：标簽頁、篩選頁、參數頁吃掉了訪問量。
- 頁面内容完整度不足，被抓取後没有被保留。
用日誌確認蜘蛛到底走没走到
與其反复提交，不如看服務器日誌。重点看三件事：
- 蜘蛛有没有請求過這個 URL——有請求，說明至少被發現過；
- 返回的狀態碼是什么——200、301、404、5xx 代表的情况完全不同；
- 同一個 URL 被請求了几次、間隔多久——長期只来一次，說明入口太弱。
如果日誌里完全没有這條 URL 的记錄，問题在發現环节，方向應该放在内鏈、sitemap 和外部引導上。如果有记錄但狀態碼異常，先修服務器配置或跳轉規則。如果有正常的 200 請求却始终没進索引，那要回到頁面本身去看内容质量和重复度。
先分清“没被發現”和“發現了没被抓”，再决定是该加内鏈還是该改頁面，能省下很多無效提交。
一個可执行的顺序
- 给頁面补至少一條站内正文連結，優先從同主题、被抓取频繁的頁面指向它。
- 確認 URL 能正常返回 200，並且没有被 robots.txt 誤挡。
- 把地址加入對應的 sitemap 分片，避免單次寫入過多。
- 通過提交接口通知一次，之後不必反复提交。
- 過一周再看日誌，判断卡在哪一环，再决定下一步。
孤立頁面不是不能被收錄，只是它需要有人主動把它接回站点结构里。把入口补齐，比反复提交要實际得多。