使用 cProfile 分析代码性能优化

以下是使用cProfile分析代码性能瓶颈及优化方案的步骤详解：

1. 使用cProfile分析性能

命令行方式（推荐）

python -m cProfile -s time your_script.py

关键参数说明：

• -s time：按内部时间排序
• 输出列含义：
  • ncalls：调用次数
  • tottime：函数自身耗时（不含子函数）
  • cumtime：函数总耗时（含子函数）

代码嵌入方式

import cProfile
import re

profiler = cProfile.Profile()
profiler.enable()

# 被分析的代码
def example_function():
    # 示例函数
    pass

example_function()

profiler.disable()
profiler.print_stats(sort='time')

2. 典型性能问题场景与优化方案

示例代码（存在性能问题）

# example.py
def fibonacci(n):
    if n <= 1:
        return n
    return fibonacci(n-1) + fibonacci(n-2)

def main():
    # 计算40次斐波那契数列
    for i in range(40):
        print(fibonacci(35))  # 指数级复杂度计算

if __name__ == "__main__":
    main()

性能分析结果

   44925855 function calls (10 primitive calls) in 18.952 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
44925843/40   18.951    0.000   18.951    0.474 example.py:1(fibonacci)
       40    0.000    0.000    0.000    0.000 {built-in method builtins.print}

问题诊断

1. fibonacci 函数被调用超过4400万次
2. 递归实现导致指数级时间复杂度（O(2^n)）
3. 重复计算相同参数值（如fib(30)被计算多次）

3. 优化方案与实施

方案1：记忆化缓存（时间复杂度降为O(n)）

from functools import lru_cache

@lru_cache(maxsize=None)
def fibonacci(n):
    if n <= 1:
        return n
    return fibonacci(n-1) + fibonacci(n-2)

方案2：迭代法（避免递归栈限制）

def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        a, b = b, a + b
    return a

优化后性能对比

4. 其他常见优化场景

场景1：密集循环计算

问题代码：

result = []
for i in range(1000000):
    result.append(i*2)

优化方案：

# 使用列表推导式（快2倍）
result = [i*2 for i in range(1000000)]

# 使用NumPy向量化（快10倍）
import numpy as np
result = np.arange(1000000) * 2

场景2：频繁I/O操作

问题代码：

for filename in file_list:
    with open(filename, 'r') as f:
        process(f.read())

优化方案：

# 批量读取 + 多线程
from concurrent.futures import ThreadPoolExecutor

def process_file(filename):
    with open(filename, 'r') as f:
        process(f.read())

with ThreadPoolExecutor() as executor:
    executor.map(process_file, file_list)

5. 性能优化原则

1. 二八定律：优先优化最耗时的20%代码
2. 算法优先：选择时间复杂度更低的算法（如将O(n²)改为O(n log n)）
3. 空间换时间：使用缓存/预计算机制
4. 向量化运算：利用NumPy/Pandas的批量计算优势
5. 并发处理：对I/O密集型任务使用多线程/异步IO

6. 高级分析技巧

1. 火焰图生成：

# 安装依赖
pip install snakeviz

# 生成分析文件
python -m cProfile -o profile.stats your_script.py

# 查看火焰图
snakeviz profile.stats

2. 逐行分析（使用line_profiler）：

# 安装
pip install line_profiler

# 使用装饰器
@profile
def target_function():
    # 需要分析的函数

# 运行分析
kernprof -l -v your_script.py

通过系统性的性能分析和针对性优化，通常可以获得10-100倍的性能提升。建议每次优化后重新运行cProfile验证改进效果。