内容發布出去，只是完成了第一步。對搜尋引擎来说，一個新 URL 從存在到被安排抓取，中間至少要经過被發現、進入队列、被抓取、被處理几個环节，任何一环断了，頁面都可能長時間停在那里没人管。這篇自查清單不承诺收錄速度，只帮你把明顯能自己解决的問题先排掉。
一、先確認這個 URL 真的能打開
很多“蜘蛛不抓”的問题，根因其實在服務器侧。發布後第一件事，用無登入狀態的浏览器或者命令行工具訪問一次：
- 返回狀態碼是 200，而不是 301、302、403、500；
- 没有跳轉到登入頁、驗證頁或者地区選擇頁；
- 服務器返回的 HTML 里能看到正文，而不是一片空白等 JS 填充；
- URL 大小寫、结尾斜杠與站内連結中寫的一致。
如果這一步就不通過，後面所有優化都是白費。
二、给新頁面留一條能爬到的入口
蜘蛛發現 URL 的主要途径仍然是連結，sitemap 是补充而不是唯一通道。一個新頁面如果全站没有任何指向它的普通連結，只存在于 sitemap 中，被發現的概率會明顯下降。
優先补齐的几類入口
- 從栏目頁或专题頁给出一個直達連結，位置不要太深；
- 在相關老文章的正文或“相關阅讀”模块里加入；
- 如果站点有归档頁、标簽頁，確認新頁面已被纳入；
- 面包屑導航里带上對應层級。
入口連結最好放在服務端渲染的輸出里，而不是等前端异步加载後再插入。蜘蛛能否执行 JS 因站点而异，把關键連結交给 JS 生成，等于给自己增加不确定性。
三、sitemap 和提交動作要跟着走
新增頁面後，把對應條目寫進 sitemap，並更新 lastmod。不要图省事整份文件重新生成一遍時間戳，這會让 lastmod 失去參考價值。各搜尋引擎的站長平台都提供提交入口，提交是告知，不是保證，心態上把它当作提醒而非開關。
四、检查是不是孤岛頁面
判断方法很直接：在站内搜尋框里搜頁面标题的關鍵詞，看能否搜到；或者用只跟着站内連結爬取的工具跑一遍，看這個 URL 是否出現在结果里。如果两處都找不到，基本可以確認它是孤岛。
另一種常见情况是“半孤岛”：連結存在，但只出現在分頁很深的位置，例如某個列表的第 30 頁之後。蜘蛛對深层頁面的抓取優先級本来就低，把重要新頁面放在這種位置，等于主動降權。
五、几個容易忽略的细节
- noindex 残留：模板或測試环境带過来的标簽没去掉，頁面能打開但已被明确排除；
- 參數過多：URL 上挂着會话 ID、来源追踪參數，同一内容裂成多個地址；
- 重复内容：新頁面與此前發布的文章高度重合，谁被選中都不奇怪；
- 發布即大改：上线几小时就換标题、換 URL，抓取记錄反复對不上。
六、用日誌驗證，而不是靠感觉
發布後隔一两天翻一下服務器日誌，按 UA 過滤蜘蛛訪問，看目标 URL 是否出現過、返回什么狀態碼、抓了几次。如果狀態碼正常、入口也补上了，但一直没有訪問记錄，可以检查一下是否有防火墙或 CDN 規則把它当成異常流量拦掉了。
URL 發現這件事，可控的部分是入口、狀態碼和结构；不可控的部分是抓取节奏。把可控的做扎實，剩下的交给時間。
最後提醒一句：不要為了催抓取而频繁改動 URL 或反复提交同一批地址。稳定的结构和持續更新的内容，比任何技巧都更经得起观察。