搜
图片、脚本與 iframe 里的 URL:蜘蛛會把這些当抓取入口吗
頁面上出現 URL 的地方遠不止 a 标簽:图片的 src、脚本里的路径、iframe 的地址、canonical 與结构化資料里都會寫地址。但這些位置對蜘蛛的意义並不相同,有的只是被請求的资源,有的參與 URL 归並,真正能撑起抓取路径的仍然是有序的站内連結。
阅讀全文 →共找到 1 篇與“頁面资源”相關的文章。
頁面上出現 URL 的地方遠不止 a 标簽:图片的 src、脚本里的路径、iframe 的地址、canonical 與结构化資料里都會寫地址。但這些位置對蜘蛛的意义並不相同,有的只是被請求的资源,有的參與 URL 归並,真正能撑起抓取路径的仍然是有序的站内連結。
阅讀全文 →