标簽：crawl

蜘蛛從哪里知道一個新 URL：Sitemap 之外的几條递线索通道

新頁面上线後迟迟没被抓，很多时候不是服務器的問题，而是地址根本没递到蜘蛛眼前。本文把常见的 URL 發現入口梳理一遍：Sitemap、站内連結、列表與归档頁、RSS、站長平台提交和外鏈，並說明怎么用日誌確認线索有没有被走到，以及几個容易走偏的做法。