搜
图片、脚本与 iframe 里的 URL:蜘蛛会把这些当抓取入口吗
页面上出现 URL 的地方远不止 a 标签:图片的 src、脚本里的路径、iframe 的地址、canonical 与结构化数据里都会写地址。但这些位置对蜘蛛的意义并不相同,有的只是被请求的资源,有的参与 URL 归并,真正能撑起抓取路径的仍然是有序的站内链接。
阅读全文 →共找到 1 篇与“页面资源”相关的文章。
页面上出现 URL 的地方远不止 a 标签:图片的 src、脚本里的路径、iframe 的地址、canonical 与结构化数据里都会写地址。但这些位置对蜘蛛的意义并不相同,有的只是被请求的资源,有的参与 URL 归并,真正能撑起抓取路径的仍然是有序的站内链接。
阅读全文 →