URL 發現不止一條路
蜘蛛找到新 URL，通常不是靠單一渠道。外鏈、内鏈、Sitemap、搜尋平台的提交接口，各自承担不同角色。运营侧常把注意力放在其中一條，忽略其他入口的配合，结果就是有的頁面很快被抓，有的几個月都没動静。
外鏈：最早的信号，也最不稳定
被其他站点連結的 URL，往往在蜘蛛下次訪問對方頁面时被發現。外鏈的價值在于介绍信，但它的出現時間、連結位置、對方頁面被抓频率都不受你控制。指望外鏈做主力發現渠道，节奏會很被動。更實际的做法是：外鏈解决第一次被發現，内鏈解决被持續重訪。
内鏈：站内發現的主干道
站内連結是蜘蛛最稳定的發現来源。只要入口頁能被抓，顺着連結就能走到下一层。問题常出在两處：一是連結寫在 JS 或事件里，蜘蛛讀不到；二是連結层級太深，中間断了就到此為止。检查内鏈时，可以先用日誌或抓取工具看蜘蛛實际走過的路径，而不是只看頁面上有没有連結。
Sitemap：批量告知，前提是维護
Sitemap 适合把成批 URL 一次交出去，尤其對新站、孤立頁面、更新频繁的列表頁有帮助。但它不是提交就能抓。常见問题包括：文件里混着 404、重定向、被 robots 屏蔽的 URL；lastmod 長期不更新；子地图拆分混乱，導致蜘蛛讀不完。Sitemap 的作用是把 URL 摆到台面上，能不能抓、何时抓，仍取决于頁面本身和抓取节奏。
提交接口：加速單個 URL，不替代结构
搜尋平台提供的提交入口，适合少量、需要尽快發現的 URL，比如新上线的活動頁、刚修复的頁面。它的定位是补充，不是替代内鏈和 Sitemap。如果站内结构本身稀烂，提交一次只能解决一個 URL，下一次還得手動来。
几個入口怎么配合
- 新站或新栏目上线：先让入口頁可抓，内鏈指向核心頁面，再用 Sitemap 批量提交。
- 日常更新：靠内鏈和列表頁带出，Sitemap 的 lastmod 跟着更新。
- 孤立頁面：至少從相關頁面加一條内鏈，再進 Sitemap。
- 临时頁面：用提交接口推一下，但別把它当長期方案。
容易踩的坑
- Sitemap 里塞了大量低质或重复 URL，蜘蛛讀完却没什么收获，反而占用抓取額度。
- 内鏈全部通過 JS 跳轉，蜘蛛看不到下一层。
- 外鏈只盯着數量，忽略了對方頁面本身是否被抓。
- 提交接口用了很多次，站内结构却一直没改。
先看日誌，再谈優化
判断哪條入口有效，最直接的方法是看服務器日誌：蜘蛛来了哪些 IP、抓了哪些 URL、狀態碼是什么、間隔多久。把日誌和 Sitemap、内鏈结构對照，往往能發現以為提交了就會来的頁面，其實根本没被訪問。
蜘蛛是否抓取、何时抓取、是否收錄，都由搜尋引擎自行决定。运营侧能做的是把入口做清楚、把返回狀態做正常，减少蜘蛛白跑的可能。