Python 并发编程选择指南

在 Python 中选择线程、进程、协程或「都不使用」，取决于任务类型、并发需求、资源开销和 Python 的全局解释器锁（GIL）特性。以下是具体场景和选择建议：

一、使用 线程（Threading） 的场景

1. I/O 密集型任务

   • 例如：网络请求、文件读写、数据库查询等需要等待外部响应的任务。
   • 原因：线程在等待 I/O 时会释放 GIL，允许其他线程运行，能有效提升效率。

2. 需要共享内存的轻量级并发

   • 例如：GUI 应用中的后台任务，避免界面冻结。
   • 注意：线程共享内存，需通过锁机制（如 Lock）管理资源竞争。

3. 代码迁移成本低

   • 例如：已有同步代码需要快速改造为并发逻辑，且无法重写为异步模式。

二、使用 进程（Multiprocessing） 的场景

1. CPU 密集型任务

   • 例如：数学计算（矩阵运算、图像处理）、机器学习模型训练。
   • 原因：进程绕过 GIL，能利用多核 CPU 并行计算。

2. 需要强隔离性的任务

   • 例如：运行可能崩溃的子任务，避免影响主进程。
   • 注意：进程间通信（IPC）成本高，需用 Queue、Pipe 或共享内存。

3. 资源密集型任务

   • 例如：需要大量独立内存或独立 Python 解释器的任务。

三、使用 协程（Coroutine/AsyncIO） 的场景

1. 高并发 I/O 操作

   • 例如：Web 服务器处理数千个并发请求（如 FastAPI 后端）。
   • 原因：协程通过事件循环单线程处理多任务，上下文切换开销极小。

2. 需要非阻塞代码

   • 例如：异步 HTTP 客户端（如 aiohttp）、实时数据处理。
   • 注意：协程需配合 async/await 语法和异步库使用。

3. 资源受限环境

   • 例如：单台服务器需要支撑高并发连接（如 WebSocket 服务）。

四、不使用并发的场景

1. 任务简单且无性能瓶颈

   • 例如：一次性脚本、顺序执行即可满足需求的场景。

2. 任务之间有严格依赖关系

   • 例如：任务 B 必须等待任务 A 的结果，无法并行。

3. 并发引入的复杂度超过收益

   • 例如：代码维护成本高、调试困难，或资源开销（内存/CPU）无法承受。

4. 第三方库不支持并发

   • 例如：某些库不是线程安全或协程友好的（如旧版 requests 库）。

五、关键对比表

六、实践建议

1. I/O 密集型：优先协程（asyncio），其次是线程。
2. CPU 密集型：必须用进程（multiprocessing 或 concurrent.futures.ProcessPoolExecutor）。
3. 混合型任务：组合使用（如进程池 + 线程池/协程）。
4. 避免过早优化：先验证单线程性能，再考虑并发方案。

示例代码片段：

# I/O 密集型 → 协程
import asyncio
async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

# CPU 密集型 → 进程
from multiprocessing import Pool
def calculate(n):
    return n * n
with Pool() as p:
    results = p.map(calculate, [1, 2, 3])