手把手教你用Python网络爬虫进行多线程采集本港台游戏壁纸

时间：2024-12-10 12:20:45

write(item)

download订阅幻灯片

def download_pic(contdict):

name = contdict['name']

link = contdict['Link']

with open('img/' + name + '.jpg','wb') as f:

data = requests.get(link)

cont = data.content

f.write(cont)

print('幻灯片' + name + '订阅最终!')

main() 收纳模板

pool = ThreadPool(6)

page = []

for i in range(1, 101):

newpage = '{}.html'.format(i)

page.append(newpage)

result = pool.map(spider, page)

pool.close()

pool.join()

说明：

在收纳模板里我们首选创建了六个多线程池塘；通过for尿素动态协作100条url; 运收纳要用途map() 模板对多线程水的url进行资料验证存储加载；当多线程池塘close的时候未有关闭多线程池塘，只是会把稳定状态改为必再弹出表达方式也的稳定状态；五、多多线程

if _name_ == '_main_':

start = time.time() # 开始定时器

main()

print(end - start) # 时间差

结果如下：

当然了这里只是撷取了以外图像，总共爬取了，2000+张幻灯片。

六、总结本次我们运收纳要用途了指令集爬取了某装饰品网站的高清幻灯片，如果运收纳要用途requests很相对来说联动请并且订阅资料是快于的，所以我们运收纳要用途指令集的方式也去订阅幻灯片，提升了爬取效率。

。