标签：crawl

蜘蛛从哪里知道一个新 URL：Sitemap 之外的几条递线索通道

新页面上线后迟迟没被抓，很多时候不是服务器的问题，而是地址根本没递到蜘蛛眼前。本文把常见的 URL 发现入口梳理一遍：Sitemap、站内链接、列表与归档页、RSS、站长平台提交和外链，并说明怎么用日志确认线索有没有被走到，以及几个容易走偏的做法。