标簽：抓取分布

蜘蛛池入口頁的内鏈安排：互鏈、導航與孤岛頁怎么處理

入口頁不只有外鏈和推送這一條被發現的路。内鏈决定蜘蛛在你的入口頁之間怎么走，也决定一批頁面是连成一張網還是散成孤岛。這篇從内鏈在蜘蛛池里的作用、几種常见鏈法的代價，到孤岛頁的處理和調整时机，给出几條可执行的思路，方便按自己的規模取舍。