乐闻世界logo
5月29日 00:09

Python 多线程和多进程有什么区别？GIL 对多线程有什么影响？

核心区别：进程是资源分配单位，有独立内存空间；线程是调度单位，共享进程内存。在 Python 里这道题的特殊之处是 GIL——全局解释器锁让同一时刻只有一个线程执行 Python 字节码，所以 CPU 密集型任务用多线程不会加速，必须用多进程。I/O 密集型任务多线程够用，因为等 I/O 时 GIL 会释放。

追问

GIL 到底锁的是什么？为什么不能去掉？

GIL 保护的是 CPython 的内存管理——引用计数。CPython 的对象引用计数不是线程安全的，如果多个线程同时修改引用计数，对象可能被提前释放或泄漏。加锁是最简单的方案，代价是多线程无法真正并行。Python 3.13 开始实验性支持 free-threaded 模式（PEP 703），试图移除 GIL，但目前生态兼容性还是问题。短期内 GIL 不会消失。

多线程既然不能并行，还有用吗？

有用。线程等待 I/O（网络请求、文件读写、数据库查询）时会释放 GIL，其他线程可以执行。所以 I/O 密集型场景（爬虫、API 调用、数据库操作）用多线程完全没问题。实测：100 个 HTTP 请求，单线程串行 10 秒，10 线程并发约 1.2 秒，接近 10 倍加速。但如果是纯计算（比如大矩阵运算），10 线程和 1 线程耗时几乎一样，甚至更慢——线程切换本身有开销。

什么时候用多进程？有什么坑？

CPU 密集型任务：数据处理、图像处理、机器学习训练。multiprocessing.Pool 是最常用的接口。最大的坑是进程间通信开销——进程不共享内存，数据要序列化传输。传一个大 numpy 数组给子进程，pickle 序列化的时间可能比计算本身还长。解决方案：用 multiprocessing.shared_memory（Python 3.8+）或 multiprocessing.Array 共享内存，避免序列化。另一个坑是子进程的异常不会自动传播到主进程，需要手动处理。

协程和多线程有什么区别？

协程是用户态的协作式调度，线程是内核态的抢占式调度。协程的切换由代码控制（await），线程的切换由操作系统控制。协程没有锁的问题——同一个时刻只有一个协程在执行，不存在竞态条件。代价是协程里不能有阻塞调用，一阻塞整个事件循环就卡住了。asyncio 适合高并发 I/O（上万连接的聊天服务器），threading 适合少量 I/O 并发或需要兼容阻塞库的场景。

写段代码

python
from multiprocessing import Pool
import time

def heavy_compute(n):
    return sum(i * i for i in range(n))

if __name__ == '__main__':
    # 多进程：4核并行，接近4倍加速
    with Pool(4) as p:
        results = p.map(heavy_compute, [10**7] * 4)
    print(results)

    # 对比：多线程对CPU密集型无效
    # 4个线程和1个线程耗时几乎一样（GIL）
标签：Python