搜
蜘蛛從哪里知道一個新 URL:Sitemap 之外的几條递线索通道
新頁面上线後迟迟没被抓,很多时候不是服務器的問题,而是地址根本没递到蜘蛛眼前。本文把常见的 URL 發現入口梳理一遍:Sitemap、站内連結、列表與归档頁、RSS、站長平台提交和外鏈,並說明怎么用日誌確認线索有没有被走到,以及几個容易走偏的做法。
阅讀全文 →共找到 1 篇與“server-log”相關的文章。
新頁面上线後迟迟没被抓,很多时候不是服務器的問题,而是地址根本没递到蜘蛛眼前。本文把常见的 URL 發現入口梳理一遍:Sitemap、站内連結、列表與归档頁、RSS、站長平台提交和外鏈,並說明怎么用日誌確認线索有没有被走到,以及几個容易走偏的做法。
阅讀全文 →