13518219792
紧接着上一篇文章 python 线程池ThreadPoolExecutor（上） 我们继续对线程池深入一点了解，其实python中关于线程池，一共有两个模块：
10年的勐海网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整勐海建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联公司从事“勐海网站设计”,“勐海网站推广”以来，每个客户项目都认真落实执行。
1.threadpool — 是一个比较老的模块了，现在虽然还有一些人在用，但已经不再是主流了；
2.concurrent.futures — 目前线程池主要使用这个模块，主流模块；
除了 python 线程池ThreadPoolExecutor（上） 文章中介绍的 submit() / cancel() / done() / result() 函数外，今天还需要额外讲解一下另外几个函数：
虽然 done() 函数提供了判断任务是否结束的方法，但是并不是太实用，因为我们并不知道线程到底什么时候结束，需要一直判断每个任务有没有结束。这时就可以使用 as_completed() 方法一次取出所有任务的结果。
as_completed() 方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，就能继续执行for循环后面的语句，然后继续阻塞住，循环到所有的任务结束。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 | # !usr/bin/env python # -*- coding:utf-8 _*- """ @Author:何以解忧 @Blog(个人博客地址): shuopython.com @WeChat Official Account(微信公众号)：猿说python @Github:www.github.com
@File:python_ThreadPoolExecutor.py @Time:2019/12/07 21:25
@Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！ """
fromconcurrent.futuresimportThreadPoolExecutor,as_completed importtime
# 参数times用来模拟网络请求的时间 defdownload_video(index): time.sleep(2) print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime()))) returnindex
executor=ThreadPoolExecutor(max_workers=2) urls=[1,2,3,4,5] all_task=[executor.submit(download_video,(url))forurlinurls]
fortaskinas_completed(all_task): data=task.result() print("任务{} down load success".format(data)) |
输出结果：
1 2 3 4 5 6 7 8 9 10 | downloadvideo1finishedat2019-12-0702:33:00 任务1downloadsuccess downloadvideo2finishedat2019-12-0702:33:00 任务2downloadsuccess downloadvideo3finishedat2019-12-0702:33:02 任务3downloadsuccess downloadvideo4finishedat2019-12-0702:33:02 任务4downloadsuccess downloadvideo5finishedat2019-12-0702:33:04 任务5downloadsuccess |
代码分析：
5个任务，2个线程，由于在线程池构造的时候允许同时最多执行2个线程，所以同时执行任务1和任务2，重代码的输出结果来看，任务1和任务2执行后，for循环进入阻塞状态，直到任务1或者任务2结束之后才会for才会继续执行任务3/任务4，并保证同时执行的最多只有两个任务（关于自定义时间格式请参考： python time模块）.
和as_completed() 方法不同的是：map()方法能保证任务的顺序性，举个例子：如果同时下载5个视频，就算第二个视频比第一个视频先下载完成，也会阻塞等待第一个视频下载完成并通知主线程之后，第二个下载完成的视频才回通知主线程，保证按照顺序完成任务，下面举个例子说明一下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | fromconcurrent.futuresimportThreadPoolExecutor,as_completed importtime
# 参数times用来模拟网络请求的时间 defdownload_video(index): time.sleep(index) print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime()))) returnindex
executor=ThreadPoolExecutor(max_workers=2) urls=[3,2,1,4,5]
fordatainexecutor.map(download_video,urls): print("任务{} down load success".format(data)) |
输出结果：
1 2 3 4 5 6 7 8 9 10 | downloadvideo2finishedat2019-12-0703:38:55 downloadvideo3finishedat2019-12-0703:38:56 任务3downloadsuccess 任务2downloadsuccess downloadvideo1finishedat2019-12-0703:38:56 任务1downloadsuccess downloadvideo4finishedat2019-12-0703:39:00 任务4downloadsuccess downloadvideo5finishedat2019-12-0703:39:01 任务5downloadsuccess |
代码分析：
重上面的输出结果看来，即便任务2比任务3先完成，for循环输出的内容依旧是提示先完成的任务3再完成任务2，根据列表urls顺序输出，保证任务的顺序性！
wait()方法有点类似线程的join()方法，能阻塞主线程，直到线程池中的所有的线程都操作完成！实例代码如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | fromconcurrent.futuresimportThreadPoolExecutor,wait,ALL_COMPLETED,FIRST_COMPLETED importtime
# 参数times用来模拟网络请求的时间 defdownload_video(index): time.sleep(2) print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime()))) returnindex
executor=ThreadPoolExecutor(max_workers=2) urls=[1,2,3,4,5] all_task=[executor.submit(download_video,(url))forurlinurls]
wait(all_task,return_when=ALL_COMPLETED)
print("main ") |
输出结果：
1 2 3 4 5 6 | downloadvideo2finishedat2019-12-0703:50:22 downloadvideo1finishedat2019-12-0703:50:22 downloadvideo3finishedat2019-12-0703:50:24 downloadvideo4finishedat2019-12-0703:50:24 downloadvideo5finishedat2019-12-0703:50:26 main |
wait方法接收3个参数，等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED，表明要等待所有的任务都结束。可以看到运行结果中，确实是所有任务都完成了，主线程才打印出main。等待条件还可以设置为FIRST_COMPLETED，表示第一个任务完成就停止等待。
1.python线程队列Queue-FIFO
2.python 异常处理
3.python __name__ == ‘__main__’详细解释
4.python 不定长参数 *argc,**kargcs
转载请注明：猿说Python » python 线程池ThreadPoolExecutor（下）
