玩蛇网提供最新Python编程技术信息以及Python资源下载!

python多线程依次下载思路

我有一文件列表,我要开多个线程,比如10个,依次下载列表中的文件,python怎么写?多谢!

python中的并发处理的话推荐用gevent代替多线程。

from gevent import monkey
monkey.patch_all()
from gevent.pool import Pool


def download(url):
    # download form url


def main():
    # your files list
    files = [...]

    # 10 current with gevent Pool
    pool = Pool(10)
    pool.map(download, files)

download函数可以使用requests模块来实现下载功能。希望可以帮到你。

简单の来, 用concurrent模块

from concurrent.futures import *

def download(url):
    #bala bala
    return url

with ThreadPoolExecutor(max_workers=10) as executor:
    res = executor.map(download, [1, 2, 3, 4])
    for r in res:
        #bala bala

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19230.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月22日 - 11时17分17秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules