入口頁铺好之後，真正的問题不是“蜘蛛會不會来”，而是“它第一次從哪儿知道這個 URL”。這件事上，sitemap、外鏈和主動推送是三條主要路径，时效和稳定性差別很大。三種混着用，比只押注一種更現實。
三條路径的本质区別
- sitemap：把入口頁清單放在一個蜘蛛會定期来取的文件里，属于“等着被讀”，节奏取决于對方對你的抓取频率。
- 外鏈：從已被收錄的頁面指向入口頁，属于“顺着連結爬過来”，最慢，但一旦建立就比較稳。
- 主動推送：通過接口或站長工具把 URL 直接交出去，最快，但它只代表“知道”，不代表抓取，更不代表收錄。
sitemap 适合批量，不适合救急
入口頁數量多、更新有規律的时候，sitemap 是性價比最高的方式。几個细节要注意：單文件 URL 數有上限，超了就拆成多個並寫進索引文件；只放返回 200 的地址，把 302、404、带一堆參數的垃圾頁塞進去，會拉低整份文件的可信度；lastmod 不要每天無脑刷新，改動才有意义。
但 sitemap 的更新节奏不由你控制。新頁放進去，可能几小时被讀到，也可能几天。想靠它救急，通常不現實。
外鏈：慢，却决定長期抓取频率
入口頁如果只有 sitemap，没有任何站外指向，抓取很容易停在“偶尔来一次”的狀態。外鏈不需要多，几十條相關站点的真實連結，價值高于几千條目錄站垃圾鏈。两点提醒：連結要能直接到達入口頁，不要经過多层跳轉；尽量来自與你主题相關、本身已经被收錄的頁面。
主動推送：适合新頁，別当日常手段
推送額度有限，反复推送同一個 URL 通常没有額外收益。它更适合两種场景：一是新上线的入口頁集中提交一次；二是頁面内容做了實质性改動後重新通知。提交完之後，就该交回给 sitemap和自然抓取。
一套可执行的優先級
- 新入口頁上线当天：推送一次，同时寫進 sitemap，並確認返回狀態碼正常。
- 接下来三到七天：查服務器日誌，確認有没有真實爬虫 IP 来過，別只看工具里的“已提交”。
- 两三周仍無抓取：补一到两條站外連結，從同主题、已被收錄的頁面直接指過去。
- 一個月後仍無動作：先排查是否被 robots 屏蔽、是否整站被處理、入口頁是否被判定為低质模板，再考虑換域名或調整入口策略。
常见誤区
- 把“推送成功”当成“已被收錄”。
- 在 sitemap 里混入重定向地址和错誤頁。
- 用入口頁之間互相連結来充当外鏈——同 IP、同模板的站群互鏈，權重基本被打折。
- 只提交站点首頁，不提交具体入口頁，導致蜘蛛停在门口就离開。
- 換了域名或改了 URL 结构後，忘了同步更新 sitemap 和已有外鏈。
蜘蛛池解决的是“被發現的概率”，不是“被收錄的保證”。三條路径都做完，也只是把机會提上去。
每周自查一次就够了
把“已知 URL 列表”和“日誌里真實被抓取的 URL 列表”對一下，差距在哪，問题就在哪。如果已知很多、抓取很少，多半是發現路径或站点整体信任度的問题；如果抓取得挺多、收錄很少，那就要回到内容质量和頁面本身去找原因，而不是繼續加入口頁數量。