新頁面已经上线，服務器日誌里却一直找不到蜘蛛的請求记錄，這種情况通常不是頁面内容的問题，而是它没有被放進一條可走的路径里。蜘蛛只會從已知的地址出發，顺着連結、站点地图或提交資料去發現新 URL。想让一個新地址尽快被看到，需要按顺序解决三件事：不被拦住、有入口、能驗證。
先排除根本走不進来的情况
在優化入口之前，先確認頁面没有被自己挡住。以下任意一條命中，後面加多少内鏈都很难看到效果。
- robots.txt 中對该目錄或參數做了 Disallow；
- 頁面 head 里有 noindex。注意 noindex 是不让索引，通常仍允许抓取，但如果同时被 robots 屏蔽，蜘蛛连内容都讀不到；
- 連結由脚本点击後才生成，HTML 源碼里没有可跟随的地址；
- 頁面在登入、會員或表單提交之後才可见；
- 連結带有 nofollow，或整段内容被前端框架延迟加载。
内鏈是最稳定的入口
站点地图和提交接口都属于告知，而内鏈属于可走到的路。绝大多數新頁面能被發現，是因為它從某個已经被频繁抓取的頁面鏈了出来。
放在哪里更有效
- 優先選抓取频次高的頁面：首頁、主栏目頁、近期更新的列表頁；
- 避免把新連結埋在頁脚上百條連結中，位置越靠近主体内容越容易被跟随；
- 用普通的 a 标簽 href 輸出地址，不要只靠按钮的点击事件；
- 一次性加三五個入口即可，同一連結在一頁里重复多次没有額外收益。
Sitemap 要说清楚，而不是铺得多
站点地图的價值是提供一份直接可讀的 URL 清單，尤其适合内鏈层級深、或者入口不容易安排的歷史頁面。寫法上注意几点：
- 只放希望被索引的地址，把參數頁、篩選结果、測試頁排除掉；
- lastmod 填真實修改時間，频繁無意义地刷新會让這個字段失去參考價值；
- 數量大时使用分片和索引文件，並保證每個分片都能正常訪問；
- sitemap 里出現的地址尽量返回 200，避免大量重定向和 404 混在其中。
主動提交與其他通路
各搜尋平台提供的 URL 提交入口适合新站或刚發布的重要頁面，提交之後不會立刻抓取，但能缩短被發現的等待時間。部分搜尋引擎支持 IndexNow 之類的即时通知协议，使用时按文档要求實現即可，不必频繁重复推送同一批地址。此外，RSS 或站点 Feed、合作方的引用連結、内容被外部引用或轉载，也可能成為蜘蛛第一次到達的路径。
從發現到確認的检查顺序
- 在服務器訪問日誌里按蜘蛛 UA 過滤，看目标地址是否出現過請求；
- 確認返回碼是 200，没有意外跳轉、没有 5xx、没有返回空壳頁面；
- 用搜尋资源平台的 URL 检查工具查看抓取到的 HTML 是否包含正文與連結；
- 核對頁面是否已经進入索引，這一步取决于内容质量與竞争情况，不是提交就能保證。
被發現只是起点。入口解决的是蜘蛛能不能走到，抓取频次和最终展示位置還取决于頁面價值、站点整体质量和更新节奏。
几個常被忽略的细节
- CDN 或反向代理缓存了舊版本頁面，蜘蛛拿到的是没有新連結的副本；
- 新連結誤寫成相對路径，導致地址與實际不一致，形成重复或 404；
- HTTPS 證书鏈不完整，部分抓取客戶端连接失敗，日誌里只留下连接中断；
- 内鏈指向的地址带追踪參數，和 sitemap 里的規范地址對不上；
- 頁面發布後短時間内再次大改结构，入口被临时移除。
把這几步按顺序做完，大多數新頁面没人抓的情况都能定位到具体环节，而不必停留在反复提交和猜测上。