|
|
|
@ -3,11 +3,11 @@
|
|
|
|
|
本文从计算机系统结构的角度探讨提高 Python 代码任务执行速度的方法,涵盖硬件与软件交互的优化策略。以下是一些关键方法:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
计算单元层面利用多核并行计算
|
|
|
|
|
### 计算单元层面利用多核并行计算
|
|
|
|
|
- 对于 CPU 密集型任务,使用多进程,每个进程拥有独立的 Python 解释器和内存空间运行在独立的内核上,实现并行计算。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I/O 层面减少等待时间
|
|
|
|
|
### I/O 层面减少等待时间
|
|
|
|
|
- 异步编程:asyncio 库允许在单线程中处理多个 I/O 操作(实现并发执行),减少等待时间。
|
|
|
|
|
- 多线程:Python的线程切换是由解释器完成,而不是操作系统。切换不仅基于时间间隔,Python的多线程 时间切片间隔可以通过 sys.setswitchinterval() 设置,通常以秒为单位。其他切换触发条件 :
|
|
|
|
|
- 当线程等待I/O操作(如网络请求或磁盘读写)时,GIL会被释放,允许其他线程运行。
|
|
|
|
@ -16,23 +16,23 @@
|
|
|
|
|
- 批量处理,减少I/O请求数量
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
编译层面减少解释器开销
|
|
|
|
|
### 编译层面减少解释器开销
|
|
|
|
|
- 使用 JIT 编译器:Just-In-Time(JIT)编译可以在运行时将Python代码编译成机器码,从而提升执行速度 。PyPy 是一种替代 CPython 的 Python 实现,使用即时编译(JIT)技术,PyPy 的 JIT 引擎可以分析代码执行路径,优化频繁调用的函数,充分利用处理器架构。
|
|
|
|
|
- **Cython 编译**:Cython 允许开发者为 Python 代码添加 C 类型的注解,并编译为 C 代码,再由 C 编译器生成机器码。Cython 可实现接近 C 的执行速度,特别适合静态类型优化的场景。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
利用Python的语言特性
|
|
|
|
|
### 利用Python的语言特性
|
|
|
|
|
- **使用内置数据类型和函数**:内置的数据类型(如列表、字典、集合等)和函数通常经过高度优化。
|
|
|
|
|
- **减少全局变量的使用**:访问全局变量通常比局部变量慢,因为它们需要在更大的作用域中查找。
|
|
|
|
|
- 减少函数调用可降低堆栈操作开销
|
|
|
|
|
- **选择合适的数据结构**:例如,如果需要快速查找元素,则应该优先考虑使用字典或集合而非列表
|
|
|
|
|
- 使用列表推导式替代循环追加,避免频繁创建和销毁临时对象的开销。
|
|
|
|
|
- 使用生成器而不是列表来处理大数据集,以减少内存占用。
|
|
|
|
|
- 使用XX池或预分配资源。
|
|
|
|
|
- 使用XX池或预分配资源。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
使用第三方高性能库
|
|
|
|
|
- NumPy、Pandas这些库通常用 C/C++ 编写并经过优化。
|
|
|
|
|
### 使用第三方高性能库
|
|
|
|
|
- NumPy、Pandas这些库通常用 C/C++ 编写并经过优化。
|
|
|
|
|
- NumPy 模块使用连续内存块存储数据,向量化操作来代替显式的Python循环更高效 。
|
|
|
|
|
- SIMD 指令加速, NumPy、Numba、Pandas/SciPy 都使用了SIMD。Cython 可以直接用 C 代码使用SIMD 。
|
|
|
|
|
- `gzip` 模块可压缩数据,减少网络传输的数据量,提高网络传输速度。
|
|
|
|
|