吾爱破解软件站

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
开启左侧

python 3.9.9 x64 去除GIL(全局解释器锁)版——让多线程不再鸡肋

[复制链接]
xqyqx 发表于 2022-5-10 14:01:00 | 显示全部楼层 |阅读模式
本帖最后由 xqyqx 于 2022-5-10 16:03 编辑

0x00 前言
最近玩python时想实现多进程多线程混合运行,了解到了GIL(全局解释器锁)的存在,关于GIL,可以参见下面的官方文档
https://docs.python.org/zh-cn/3/glossary.html?highlight=gil#term-global-interpreter-lock
也就是说,python的多线程并不能实现真正意义上的并行,虽然多进程没有GIL的问题,但是创建进程的开销、内存占用以及通信效率都是多进程的问题(更何况多线程多进程我全都想要),所以我开始尝试修改Cpython的源码以去除GIL,但未果。
后来某次在GitHub上发现了一个去除GIL的项目,并且被认为“有希望在未来几年里真正进入 CPython”(项目地址:https://github.com/colesbury/nogil),本版python即基于此源码编译
0x01 过程
下载源码之后,查阅相关资料发现python源码可在Linux/Unix上直接编译运行(Linux/Unix的朋友可以直接去那个项目上git clone然后make就行了),但Windows上的编译却十分麻烦(主要是坑太多了),我便萌发了将其制作为安装包形式的想法。
查阅官方文档得知编译python源码需要VS2017环境,安装之后进入PCBuild文件夹,先下载依赖项,之后运行build.bat
第一次编译就报错了,后来经过多方排查后发现是该项目的作者使用了仅能运行于64位系统上的API函数,32位的编译就只能放弃了,执行命令:.\build.bat -p x64
编译完成,运行根目录下的python.bat即可打开python命令行
运行项目作者所修改版本中特有的命令:import sys; print(sys.flags.nogil),无报错,编译成功

但是这虽然能在本机上使用,但不便于分发,源码中包含了太多不必要的文件,且文件位置与发行版python不符,因此需要将其做成msi安装包
制作msi安装包过程中的坑特别多,每次编译了半个小时左右就突然给你报错,网上关于这方面的信息少之又少,因此只能自己手动排查,排查过程这里就不再赘述
最终在.\PCBuild\AMD64\en-us目录下生成了安装包与embed包(解压即用)
编译完成留念:



0x02测试
安装过程挺顺利的,一次成功





全家福:






接下来我们来验证其是否真正去除了GIL
测试代码如下(多线程跑死循环):
[Python] 纯文本查看 复制代码
from threading import Thread
import sys
def running():
    while True:
        pass
    return True
 
def main():
    thread_array = {}
    for tid in range(8):
        t = Thread(target=running)
        t.start()
        thread_array[tid] = t
    for i in range(8):
        thread_array.join()
if __name__ == '__main__':
    main()

测试结果如下(对比测试环境为python3.9.5(即normal),测试时系统环境保持不变):
3.9.9-nogil:

3.9.5-normal:

我的电脑是四核,因此如果带有GIL的话,理论CPU占用率不高于25%,但在nogil版本中cpu占用更是跑满,因此可以验证GIL已成功去除。


接下来我们来看一看去除GIL后的性能表现如何
我们用一个计数器来模拟CPU密集型任务:
[Python] 纯文本查看 复制代码
from threading import Thread
import time
import sys
def my_counter():
    i = 0
    for _ in range(100000000):
        i = i + 1
    return True
 
def main():
    thread_array = {}
    start_time = time.time()
    for tid in range(2):
        t = Thread(target=my_counter)
        t.start()
        thread_array[tid] = t
    for i in range(2):
        thread_array.join()
    end_time = time.time()
    print("Total time: {}".format(end_time - start_time))
 
if __name__ == '__main__':
    main()

结果如下:
normal单线程:

nogil单线程:

normal多线程:

nogil多线程:


结果排名:nogil多线程>normal单线程>normal多线程>nogil单线程
可见去除GIL后多线程性能确实增加,但以单线程性能下降作为代价

再来用一个多任务测试(斐波那契、累加、阶乘,都运用了递归运算):
[Python] 纯文本查看 复制代码
import threading
import time

class MyThread(threading.Thread):

    def __init__(self, func, args, name=''):
        threading.Thread.__init__(self)
        self.name = name
        self.func = func
        self.args = args
    def getResult(self):
        return self.res

    def run(self):
        self.res = self.func(*self.args)
def fib(x):
    if x < 2:
        return 1
    return (fib(x - 2) + fib(x - 1))


def fac(x):
    if x < 2:
        return 1
    return (x * fac(x - 1))


def sum(x):
    if x < 2:
        return 1
    return (x + sum(x - 1))


funcs = [fib, fac, sum]
n = 35


def main():

    nfuncs = range(len(funcs))

    print('*** SINGLE THREAD')
    start_time = time.time()
    for i1 in range(3):
         for i in nfuncs:
             print(funcs(n))
    end_time = time.time()
    print("Total time: ",format(end_time - start_time))

    print('\n*** MULTIPLE THREADS')
    start_time = time.time()
    threads = []
    for i in nfuncs:
        t1 = MyThread(funcs, (n, ), funcs.__name__)
        t2 = MyThread(funcs, (n, ), funcs.__name__)
        t3 = MyThread(funcs, (n, ), funcs.__name__)
        threads.append(t1)
        threads.append(t2)
        threads.append(t3)
    for i in range(9):
        threads.start()
    for i in range(9):
        threads.join()
        print(threads.getResult())
    end_time = time.time()
    print("Total time: ",format(end_time - start_time))
    print('all DONE')


if __name__ == '__main__':
    main()


结果如下:
normal:

nogil:


可见在递归上nogil不管是单线程还是多线程都吊打normal



总的来说如果使用nogil版的python解释器的话,在其中运用多线程会获得不错的性能,但同时也应当在编程中注意避免使用单线程,还要注意线程安全问题

0x03 结果
两个文件,exe为安装包,压缩包为解压即用
腾讯哈勃扫描结果:
https://habo.qq.com/file/showdetail?md5=ae9b7507e2575b7c1d8f87354819b65f
https://habo.qq.com/file/showdetail?md5=c6ab002a9e353cc742add4f4cbb147d4
仅供测试所用,请勿用于实际生产环境
下载地址.txt (150 Bytes, 下载次数: 56)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

 楼主| xqyqx 发表于 7 天前 | 显示全部楼层
zeroxia 发表于 2022-5-12 21:34
第一个测试,normal单线程和nogil多线程,结果都是12秒多。没区别啊。

第一个测试中只开了两个线程,体现不出多核的优点,仅仅是为了表明去除GIL后单线程性能有所降低
回复

使用道具 举报

jun269 发表于 2022-5-11 09:08:00 | 显示全部楼层
楼主真是牛人啊,这些流行的语言都会搞,大神,
回复

使用道具 举报

uc359599080 发表于 2022-5-11 08:17:00 | 显示全部楼层
电脑cpu终结者吗?
回复

使用道具 举报

tony1990 发表于 2022-5-11 09:12:00 | 显示全部楼层
感谢分享
回复

使用道具 举报

heisehaishui 发表于 2022-5-11 09:29:00 | 显示全部楼层
感谢楼主的慷概分享
回复

使用道具 举报

ztgzs 发表于 2022-5-11 09:31:00 | 显示全部楼层
感谢楼主分享
回复

使用道具 举报

pangpang02 发表于 2022-5-11 09:58:00 | 显示全部楼层
谢谢分享
回复

使用道具 举报

LoveLanshu 发表于 2022-5-11 11:42:00 | 显示全部楼层
感谢楼主分享
回复

使用道具 举报

yuechaomax 发表于 2022-5-11 11:49:00 | 显示全部楼层
这个版本下载来试一下,还没有研究这么深入。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|小黑屋|吾爱破解软件站

GMT+8, 2022-5-20 12:53 , Processed in 0.030642 second(s), 14 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表