标签：抓取分布

蜘蛛池入口页的内链安排：互链、导航与孤岛页怎么处理

入口页不只有外链和推送这一条被发现的路。内链决定蜘蛛在你的入口页之间怎么走，也决定一批页面是连成一张网还是散成孤岛。这篇从内链在蜘蛛池里的作用、几种常见链法的代价，到孤岛页的处理和调整时机，给出几条可执行的思路，方便按自己的规模取舍。