CodePattern/B 高性能模式/readme.md

# 目标
本节使用一个爬虫任务和计算任务来展示如何追求代码的性能 。
充分理解线程、协程、进程、同步、异步、阻塞、非阻塞等概念，并能够根据具体场景选择合适的并发模型。
主线问题：如何解决IO和计算速度不匹配、如何任务分解、分发和协作 。

# 任务
## 1、CPU密集型/计算密集型：
  将```sum(i * i for i in range(10**8))```作为一个子任务，运行5次，分别使用单线程、多线程、多进程、多协程、异步等方式，并对比运行时间、内存使用、CPU使用等指标。

## 2、IO密集型：

# 讨论分析
## 1、CPU密集型/计算密集型：
  为控制变量，代码在同一台设备上运行，且关闭其他进程，保证CPU资源不被其他进程占用。测试结果如下：

### 普通做法：
#### 运行前：
  CPU使用率：0.0%，内存使用率：53.3%

#### 运行后：
  CPU使用率：0.6%，内存使用率：53.0%，内存使用：0.003336MB，峰值内存使用：0.004216MB，单个子任务运行平均时间：7.86s，总运行时间：39.31s

#### 运行结束30秒后：
  CPU使用率：0.6%，内存使用率：53.0%

### 多进程：
#### 运行前：
  CPU使用率：0.0%，内存使用率：52.8%

#### 运行后：
  CPU使用率：1.3%，内存使用率：52.9%，内存使用：0.096089MB，峰值内存使用：0.121865MB，单个子任务运行平均时间：0.654s，总运行时间：1.86s

#### 运行结束30秒后：
  CPU使用率：0.6%，内存使用率：52.7%

### 多线程：
#### 运行前：
  CPU使用率：3.8%，内存使用率：53.1%

#### 运行后：
  CPU使用率：3.6%，内存使用率：53.1%，内存使用：0.001472MB，峰值内存使用：0.019296MB，单个子任务运行平均时间：38.89s，总运行时间：39.77s

#### 运行结束30秒后：
  CPU使用率：0.7%，内存使用率：52.9%

### 多线程 + 线程池：
#### 运行前：
  CPU使用率：0.0%，内存使用率：52.9%

#### 运行后：
  CPU使用率：0.7%，内存使用率：53.1%，内存使用：0.000952MB，峰值内存使用：0.036604MB，单个子任务运行平均时间：40.49s，总运行时间：41.16s

#### 运行结束30秒后：
  CPU使用率：0.6%，内存使用率：52.9%

### 多协程：
#### 运行前：
  CPU使用率：1.1%，内存使用率：53.4%

#### 运行后：
  CPU使用率：0.2%，内存使用率：53.4%，内存使用：0.009448MB，峰值内存使用：0.011027MB，单个子任务运行平均时间：9.14s，总运行时间：45.70s

#### 运行结束30秒后：
  CPU使用率：0.6%，内存使用率：53.4%


### 多进程 + 异步：
#### 运行前：
  CPU使用率：0.8%，内存使用率：54.9%

#### 运行后：
  CPU使用率：0.6%，内存使用率：54.9%，内存使用：0.123481MB，峰值内存使用：0.188774MB，单个子任务运行平均时间：0.63s，总运行时间：1.85s

#### 运行结束30秒后：
  CPU使用率：0.9%，内存使用率：55.0%


## 2、IO密集型：
  为控制变量，代码在同一台设备上运行，关闭其他进程，并在相同的网络环境下运行，保证网络资源不被其他进程占用。

### 普通做法：
#### 运行前：
  CPU使用率：0.0%，内存使用率：52.5%

#### 运行后：
  CPU使用率：0.9%，内存使用率：52.6%，内存使用：0.074968MB，峰值内存使用：4.162339MB，总运行时间：5.56s

#### 运行结束30秒后：
  CPU使用率：0.6%，内存使用率：52.5%


### 多进程：
#### 运行前：
  CPU使用率：0.0%，内存使用率：52.7%

#### 运行后：
  CPU使用率：5.0%，内存使用率：52.8%，内存使用：0.03219MB，峰值内存使用：0.085236MB，总运行时间：5.81s

#### 运行结束30秒后：
  CPU使用率：1.2%，内存使用率：53.1%


### 多线程：
#### 运行前：
  CPU使用率：0.0%，内存使用率：52.9%

#### 运行后：
  CPU使用率：0.1%，内存使用率：53.0%，内存使用：MB，峰值内存使用：MB，总运行时间：1.63s

#### 运行结束30秒后：
  CPU使用率：0.5%，内存使用率：52.9%


### 多线程 + 线程池：
#### 运行前：
  CPU使用率：1.3%，内存使用率：53.2%

#### 运行后：
  CPU使用率：1.3%，内存使用率：53.1%，内存使用：0.092493MB，峰值内存使用：4.371028MB，总运行时间：1.47s

#### 运行结束30秒后：
  CPU使用率：0.8%，内存使用率：53.2%


### 多协程：
#### 运行前：
  CPU使用率：1.1%，内存使用率：54.4%

#### 运行后：
  CPU使用率：0.8%，内存使用率：54.4%，内存使用：0.753684MB，峰值内存使用：15.09151MB，总运行时间：1.45s

#### 运行结束30秒后：
  CPU使用率：0.8%，内存使用率：54.4%


### 多进程 + 异步：
#### 运行前：
  CPU使用率：1.5%，内存使用率：60.0%

#### 运行后：
  CPU使用率：0.8%，内存使用率：59.8%，内存使用：0.569592MB，峰值内存使用：6.360097MB，总运行时间：7.40s

#### 运行结束30秒后：
  CPU使用率：1.3%，内存使用率：59.6%

# 总结
## 1、CPU密集型/计算密集型：
|                          |  普通做法  |   多进程   |   多线程   | 多线程+线程池 |   多协程   | 多进程+异步 |
| :----------------------: | :--------: | :--------: | :--------: | :-----------: | :--------: | :---------: |
|     运行前CPU使用率      |    0.0%    |    0.0%    |    3.8%    |     0.0%      |    1.1%    |    0.8%     |
|     运行后CPU使用率      |    0.6%    |    1.3%    |    3.6%    |     0.7%      |    0.2%    |    0.6%     |
| 运行结束30秒后CPU使用率  |    0.6%    |    0.6%    |    0.7%    |     0.6%      |    0.6%    |    0.9%     |
|     运行前内存使用率     |   53.3%    |   52.8%    |   53.1%    |     52.9%     |   53.4%    |    54.9%    |
|     运行后内存使用率     |   53.0%    |   52.9%    |   53.1%    |     53.1%     |   53.4%    |    54.9%    |
| 运行结束30秒后内存使用率 |   53.0%    |   52.7%    |   52.9%    |     52.9%     |   53.4%    |    55.0%    |
|         内存使用         | 0.003336MB | 0.096089MB | 0.001472MB |  0.000952MB   | 0.009448MB | 0.123481MB  |
|       峰值内存使用       | 0.004216MB | 0.121865MB | 0.019296MB |  0.036604MB   | 0.011027MB | 0.188774MB  |
|  单个子任务运行平均时间  |   7.86s    |   0.654s   |   38.89s   |    40.49s     |   9.14s    |    0.63s    |
|        总运行时间        |   39.31s   |   1.86s    |   39.77s   |    41.16s     |   45.70s   |    1.85s    |

  根据表格中的数据，我们可以对不同的并发和并行编程方法进行详细的总结：

### 普通做法
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明普通做法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大，表明普通做法对内存的影响较小。
- **内存使用**：内存使用量和峰值内存使用量都很低。
- **运行时间**：单个子任务和总任务的运行时间都较长，表明普通做法效率较低。

### 多进程
- **CPU使用率**：在任务运行后CPU使用率显著增加，表明多进程方法能够充分利用多核CPU的优势。
- **内存使用率**：内存使用率略有增加，但变化不大。
- **内存使用**：内存使用量和峰值内存使用量较高，表明多进程方法对内存的需求较大。
- **运行时间**：单个子任务和总任务的运行时间都显著减少，表明多进程方法在处理CPU密集型任务时效率最高。

### 多线程
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明多线程方法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：单个子任务和总任务的运行时间都较长，表明多线程方法在处理CPU密集型任务时效率较低。

### 多线程+线程池
- **CPU使用率**：在任务运行后CPU使用率略有增加，但变化不大。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：单个子任务和总任务的运行时间都较长，表明多线程+线程池方法在处理CPU密集型任务时效率较低。

### 多协程
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明多协程方法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：单个子任务和总任务的运行时间都较长，表明多协程方法在处理CPU密集型任务时效率较低。

### 多进程+异步
- **CPU使用率**：在任务运行后CPU使用率显著增加，表明多进程+异步方法能够充分利用多核CPU的优势。
- **内存使用率**：内存使用率略有增加，但变化不大。
- **内存使用**：内存使用量和峰值内存使用量较高，表明多进程+异步方法对内存的需求较大。
- **运行时间**：单个子任务和总任务的运行时间都显著减少，表明多进程+异步方法在处理CPU密集型任务时效率最高。

### 结论
- **多进程**和**多进程+异步**方法在处理CPU密集型任务时效率最高，能够充分利用多核CPU的优势，但对内存的需求较大。
- **多线程**和**多线程+线程池**方法在处理CPU密集型任务时效率较低，主要是由于Python的全局解释器锁（GIL）的存在，无法实现真正的并行。
- **多协程**方法在处理CPU密集型任务时效率较低，但在处理I/O密集型任务时可能会有更好的表现。
- **普通做法**效率最低，无法充分利用系统资源。

## 2、IO密集型：
|                          |  普通做法  |   多进程   | 多线程 | 多线程+线程池 |   多协程   | 多进程+异步 |
| :----------------------: | :--------: | :--------: | :----: | :-----------: | :--------: | :---------: |
|     运行前CPU使用率      |    0.0%    |    0.0%    |  0.0%  |     1.3%      |    1.1%    |    1.5%     |
|     运行后CPU使用率      |    0.9%    |    5.0%    |  0.1%  |     1.3%      |    0.8%    |    0.8%     |
| 运行结束30秒后CPU使用率  |    0.6%    |    1.2%    |  0.5%  |     0.8%      |    0.8%    |    1.3%     |
|     运行前内存使用率     |   52.5%    |   52.7%    | 52.9%  |     53.2%     |   54.4%    |    60.0%    |
|     运行后内存使用率     |   52.6%    |   52.8%    | 53.0%  |     53.1%     |   54.4%    |    59.8%    |
| 运行结束30秒后内存使用率 |   52.5%    |   53.1%    | 52.9%  |     53.2%     |   54.4%    |    59.6%    |
|         内存使用         | 0.074968MB | 0.03219MB  |  N/A   |  0.092493MB   | 0.753684MB | 0.569592MB  |
|       峰值内存使用       | 4.162339MB | 0.085236MB |  N/A   |  4.371028MB   | 15.09151MB | 6.360097MB  |
|        总运行时间        |   5.56s    |   5.81s    | 1.63s  |     1.47s     |   1.45s    |    7.40s    |

  根据表格中的数据，我们可以对不同的并发和并行编程方法进行详细的总结：

### 普通做法
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明普通做法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大，表明普通做法对内存的影响较小。
- **内存使用**：内存使用量和峰值内存使用量都很低。
- **运行时间**：总运行时间为5.56秒，表明普通做法效率较低。

### 多进程
- **CPU使用率**：在任务运行后CPU使用率显著增加，表明多进程方法能够充分利用多核CPU的优势。
- **内存使用率**：内存使用率略有增加，但变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：总运行时间为5.81秒，略高于普通做法，表明多进程方法在处理IO密集型任务时效率较高。

### 多线程
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明多线程方法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：总运行时间为1.63秒，显著低于普通做法，表明多线程方法在处理IO密集型任务时效率较高。

### 多线程+线程池
- **CPU使用率**：在任务运行后CPU使用率略有增加，但变化不大。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较低。
- **运行时间**：总运行时间为1.47秒，显著低于普通做法，表明多线程+线程池方法在处理IO密集型任务时效率较高。

### 多协程
- **CPU使用率**：在任务运行前、运行后和运行结束30秒后的CPU使用率都较低，表明多协程方法没有充分利用CPU资源。
- **内存使用率**：内存使用率变化不大。
- **内存使用**：内存使用量和峰值内存使用量较高。
- **运行时间**：总运行时间为1.45秒，显著低于普通做法，表明多协程方法在处理IO密集型任务时效率较高。

### 多进程+异步
- **CPU使用率**：在任务运行后CPU使用率显著增加，表明多进程+异步方法能够充分利用多核CPU的优势。
- **内存使用率**：内存使用率略有增加，但变化不大。
- **内存使用**：内存使用量和峰值内存使用量较高。
- **运行时间**：总运行时间为7.40秒，略高于普通做法，表明多进程+异步方法在处理IO密集型任务时效率较低。

### 结论
- **多线程**、**多线程+线程池**和**多协程**方法在处理IO密集型任务时效率最高，能够显著减少总运行时间。
- **多进程**方法在处理IO密集型任务时效率较高，但略低于多线程和多协程方法。
- **多进程+异步**方法在处理IO密集型任务时效率较低，总运行时间较长。
- **普通做法**效率最低，无法充分利用系统资源。

<style>
    h1{font:20pt "SimHei", sans-serif;}
    h2{font:16pt "SimHei", sans-serif;}
    p{font:12pt "SimSun", sans-serif;line-height:150%}
    li{font:12pt "SimSun", sans-serif;line-height:150%}
</style>