鱼C论坛

 找回密码
 立即注册
查看: 3551|回复: 14

[作品展示] 一手画圈一手画圆——Python多线程4

[复制链接]
发表于 2016-10-24 21:15:19 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x

如果你看了前一帖。
一手画圈一手画圆——Python多线程3

那么你已经成功被我误导了~~。

用了几种不同的方式实现了同一种多线程模式——给每个要进行干活的对象都搞一个线程。



Ok,言归正传。

上一贴中,我们说了一个模块——Queue,好吧。

队列——当线程与队列结合在一块就能实现一个比较完整的多线程模式。

那就是——线程池

线程池——就是雇佣一定数量的人,重复干活。

比如我有100块砖需要从楼下搬到楼上,

我雇100个人一次性搬完还是雇10个人搬10次。

额...这取决于你。
本例中,你雇了10个人重复干10次就相当于你设了最大量为10的线程,这10个线程重复干了这些工作——线程池。

如果你选择雇100个人干一次就相当于...呃,非线程池!

代码及理解建议看看这篇文章。
线程池





还是这个蛋疼的栗子。

  1. def a():
  2.     return [i*10 for i in range(5000000)]
复制代码


我们依然生成那么大个列表,我们用两种方式来看看到底有什么区别。

非线程池版:
在2中我们已经搞过实验,结果是... 你还是自己看吧。
http://bbs.fishc.com/thread-77702-1-1.html


线程池版:

  1. b = queue.Queue()
复制代码



首先,我们建立一个任务队列(列表)。
当然你可以用列表[]代替队列,不过,使用队列的好处是——自动加锁。

然后我们创建一个干活的函数。

  1. def do(task):
  2.     while 1:
  3.         task.get()
  4.         a()
  5.         task.task_done()
复制代码


作用是,在任务队列里接活——接的活就是 执行a(),做完之后告诉队列我做完了。

然后我们设置总任务数。

  1. for i in range(3000):
  2.     b.put(i)
复制代码


总共3000次。


然后我们设置线程的数量。
  1. for i in range(20):
  2.     Thread(target=do, args=(b,)).start()
复制代码


20个线程。

360截图20161024212334018.jpg

可以看到,内存的占用保持在了2G左右。

这个量设置多少合适——取决于你的计算机性能。

设置多少线程算很多?

开10个线程能跑到你预期的值那就不要开11个线程!


---

oh~,线程已经够头疼了,想要保持稳定和效率还要搞成 线程——池?

一个简易的线程池模式就比非线程池版的多了一个干活函数,自写一套完整了又要写很多啊。

然而,使用python最不需要担心的就是 自!己!写 这个事!

Python3里好用的线程池。

一个模块

  1. from concurrent.futures import ThreadPoolExecutor

  2. with ThreadPoolExecutor(max_workers=20) as t:

  3.     for i in range(3000):
  4.         t.submit(a)
复制代码


啊哈,简简单单的实现了线程池,关键是,这个模块是python3内置的。

游客,如果您要查看本帖隐藏内容请回复
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2016-11-3 10:47:51 From FishC Mobile | 显示全部楼层
支持支持
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-11-3 12:58:52 | 显示全部楼层
质数判别单线程和多线程的对比测试:
单线程:
  1. import concurrent.futures
  2. import math
  3. import time

  4. PRIMES = [
  5.     112272535095293,
  6.     112582705942171,
  7.     112272535095293,
  8.     115280095190773,
  9.     115797848077099,
  10.     1099726899285419]

  11. def is_prime(n):
  12.     if n % 2 == 0:
  13.         return False
  14.     sqrt_n = int(math.floor(math.sqrt(n)))
  15.     for i in range(3, sqrt_n + 1, 2):
  16.         if n % i == 0:
  17.             return False
  18.     return True

  19. def main():
  20.     for i in PRIMES:
  21.         print('%d is prime: %s' % (i, is_prime(i)))

  22. if __name__ == '__main__':
  23.     started = time.time()
  24.     main()
  25.     print(time.time()-started)
复制代码


输出结果:
112272535095293 is prime: True
112582705942171 is prime: True
112272535095293 is prime: True
115280095190773 is prime: True
115797848077099 is prime: True
1099726899285419 is prime: False
5.750274419784546
>>>

多线程:
  1. import concurrent.futures
  2. import math
  3. import time

  4. PRIMES = [
  5.     112272535095293,
  6.     112582705942171,
  7.     112272535095293,
  8.     115280095190773,
  9.     115797848077099,
  10.     1099726899285419]

  11. def is_prime(n):
  12.     if n % 2 == 0:
  13.         return False

  14.     sqrt_n = int(math.floor(math.sqrt(n)))
  15.     for i in range(3, sqrt_n + 1, 2):
  16.         if n % i == 0:
  17.             return False
  18.     return True

  19. def main():
  20.     with concurrent.futures.ProcessPoolExecutor() as executor:
  21.         for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):
  22.             print('%d is prime: %s' % (number, prime))

  23. if __name__ == '__main__':
  24.     start = time.time()
  25.     main()
  26.     print(time.time()-start)
复制代码


输出结果:
112272535095293 is prime: True
112582705942171 is prime: True
112272535095293 is prime: True
115280095190773 is prime: True
115797848077099 is prime: True
1099726899285419 is prime: False
3.6311471462249756
>>>

快了不是一点点啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2016-11-4 21:16:19 | 显示全部楼层
jerryxjr1220 发表于 2016-11-3 12:58
质数判别单线程和多线程的对比测试:
单线程:

举一反三,厉害!

另外,你是用的进程池。

python的线程对IO有大帮助,
对这种计算其实是没有帮助的,
而且还会因为频繁的切换线程而拖慢速度。

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-2-27 23:20:31 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-2-28 00:22:59 | 显示全部楼层
支持
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-2-28 11:34:36 | 显示全部楼层
线程 异步都是痛
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-3-1 01:50:43 | 显示全部楼层
dd

评分

参与人数 1荣誉 -10 鱼币 -10 收起 理由
冬雪雪冬 -10 -10 请不要无意义灌水!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-3-19 22:35:48 | 显示全部楼层
不明觉厉...
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-7 13:42:19 From FishC Mobile | 显示全部楼层
谢谢楼主啦。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-1 11:34:36 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-29 09:49:02 From FishC Mobile | 显示全部楼层
锁呢?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-3-5 10:27:21 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-3-10 00:36:35 From FishC Mobile | 显示全部楼层
继续学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-4-10 12:44:43 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-28 22:48

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表