蜘蛛池里的入口頁，很多不是卡在抓取环节，而是根本没被找到。首次發現和後續重訪是两件事：前者决定蜘蛛知不知道這個 URL 存在，後者决定它還愿不愿意回来。這篇文章只谈第一件事。
蜘蛛通常從哪几條路找到新 URL
搜尋引擎發現新地址的途径是有限的，入口頁上线之後，能指望的基本就是下面几種：
- 站内已有連結：從已经被抓取過的頁面给出一個普通 a 标簽連結，是相對稳定的路径。
- 外部連結：其他站点给出的連結，尤其是本身被抓取频繁的頁面上的連結。
- sitemap：主動提交的地址清單，能缩短發現時間，但不保證被抓。
- 提交接口：搜尋引擎提供的 URL 提交入口，适合少量重要地址。
- 歷史抓取队列：同一域名下出現過的地址模式，蜘蛛會按規律做试探性訪問。
入口頁刚上线时，可以先做這几件事
- 確認頁面返回 200、内容可讀，没有被 robots.txt 或防火墙挡掉。
- 從一個已有入口頁或栏目頁给出站内連結，別让新頁面孤立存在。
- 把新地址补進 sitemap，並保持 sitemap 本身可訪問、格式正确。
- 需要时通過提交接口推送少量關键地址，不要一次推几千條。
- 盯訪問日誌，確認是否有蜘蛛 UA 請求過，而不是只看統計报表。
几個容易踩空的做法
只提交，不给連結
提交接口解决的是“告诉它有這么個地址”，連結解决的是“這個地址值不值得抓”。只提交不给連結，往往只是把地址放進队列排队，排到什么时候很难预估。
新域名、大批量同时上线
整批新域名同时上线，蜘蛛面對的是陌生的域名、陌生的 IP、陌生的模板，抓取意愿會被摊薄。分批上线，先让一批被訪問過，再放下一批，节奏會可控得多。
入口頁的導航靠 JS 拼出来
如果連結只存在于 JS 渲染後的 DOM 里，而服務端返回的 HTML 中什么都没有，蜘蛛能看到的連結就很少。想让連結稳定被跟入，最好让它出現在原始 HTML 中。
首次發現只是起点。地址被找到不代表被收錄，也不代表長期被抓取，後面還要看内容质量和站点整体表現。
關于入口頁地址的形態
同一域名下，地址结构是否有規律，會影响蜘蛛的试探性抓取。完全随机的長串參數地址，蜘蛛很难從已有地址推测出下一條；相對規律、层級清晰的路径，更容易被顺着摸到。不過規律性也要适度，過度可预测的批量地址反而容易被识別為批量生成。
怎么確認蜘蛛真的来過了
看訪問日誌时，重点關注几個字段：請求時間、UA、請求的 URL、返回狀態碼。如果在日誌里看到蜘蛛 UA 請求了新入口頁並且返回 200，說明這一步算是走通了。如果只有自己的測試請求，那說明發現环节還没生效，這时先回去检查連結和 sitemap，不要把精力花在調整頁面细节上。
把首次發現和日常维護分開看，思路會清楚很多：先保證能被找到，再考虑值得再来。