diff --git a/B 高性能模式/01 高性能模式.md b/B 高性能模式/01 高性能模式.md index 9f2bcc3..794db70 100644 --- a/B 高性能模式/01 高性能模式.md +++ b/B 高性能模式/01 高性能模式.md @@ -1,49 +1,41 @@ - -从计算机系统结构的角度探讨提高 Python 代码任务执行速度的方法，涵盖硬件与软件交互的优化策略。以下是一些关键方法： - +从计算机系统结构的角度，提高 Python 任务执行速度的核心在于：减少解释器开销（编译/JIT）、提升并行性（多核/GPU）、优化内存访问（缓存友好）、降低 I/O 瓶颈以及适配硬件特性等。当前主要办法如下： ### 计算单元层面利用多核并行计算 -对于 CPU 密集型任务，使用多进程，每个进程拥有独立的 Python 解释器和内存空间运行在独立的内核上，实现并行计算。 +对于 CPU 密集型任务，使用多进程，每个进程拥有独立的 Python 解释器和内存空间运行在独立的内核上，实现并行计算。 ### I/O 层面减少等待时间 -- 异步编程：asyncio 库允许在单线程中处理多个 I/O 操作（实现并发执行），减少等待时间 . -- 多线程：Python的线程切换是由解释器完成，而不是操作系统。切换不仅基于时间间隔. -- 批量处理，减少I/O请求数量 +- 异步编程：针对I/O请求等待，手工实现任务切换，完成并发执行. +- 多线程：解释器自动完成I/O请求的线程切换 。 +- 批量处理，减少I/O请求数量 。 ### 编译层面减少解释器开销 -- 使用 JIT 编译器：Just-In-Time（JIT）编译可以在运行时将Python代码编译成机器码，从而提升执行速度 。PyPy 是一种替代 CPython 的 Python 实现，使用即时编译（JIT）技术，PyPy 的 JIT 引擎可以分析代码执行路径，优化频繁调用的函数，充分利用处理器架构。 -- **Cython 编译**：Cython 允许开发者为 Python 代码添加 C 类型的注解，并编译为 C 代码，再由 C 编译器生成机器码。Cython 可实现接近 C 的执行速度，特别适合静态类型优化的场景。 +- 使用 JIT 编译器：Just-In-Time（JIT）编译可以在运行时将Python代码编译成机器码，从而提升执行速度 。PyPy 是一种替代 CPython 的实现，使用 JIT 技术，PyPy 的 JIT 引擎可以分析代码执行路径，优化频繁调用的函数，充分利用处理器架构。 +- **Cython 编译**：Cython 允许开发者为 Python 代码添加 C 类型的注解，并编译为 C 代码，再由 C 编译器生成机器码。Cython 特别适合静态类型优化的场景。 -### 利用Python的语言特性 +### 利用Python的解释器特性 - **使用内置数据类型和函数**：内置的数据类型（如列表、字典、集合等）和函数通常经过高度优化。 +- **选择合适的数据结构**：例如，一些类型执行一些操作更快，一些类型更省空间 - **减少全局变量的使用**：访问全局变量通常比局部变量慢，因为它们需要在更大的作用域中查找。 -- 减少函数调用可降低堆栈操作开销 -- **选择合适的数据结构**：例如，如果需要快速查找元素，则应该优先考虑使用字典或集合而非列表 +- **减少函数调用**，可降低堆栈操作开销。 - 使用列表推导式替代循环追加，避免频繁创建和销毁临时对象的开销。 - 使用生成器而不是列表来处理大数据集，以减少内存占用。 - 使用XX池或预分配资源。 ### 使用第三方高性能库 -- NumPy、Pandas这些库通常用 C/C++ 编写并经过优化。 -- NumPy 模块使用连续内存块存储数据，向量化操作来代替显式的Python循环更高效 。 -- SIMD 指令加速， NumPy、Numba、Pandas/SciPy 都使用了SIMD。Cython 可以直接用 C 代码使用SIMD 。 +- NumPy、Pandas这些库用 C/C++ 编写并经过优化。 +- NumPy 使用连续内存块存储数据，向量化操作来代替显式的Python循环更高效 。 +- SIMD 指令加速，NumPy、Numba、Pandas/SciPy 都使用了SIMD。Cython 可以直接用 C 代码使用SIMD 。 - `gzip` 模块可压缩数据，减少网络传输的数据量，提高网络传输速度。 -- `mmap` 模块进行内存映射文件，处理超大文件、优化I/O性能以及实现高效的进程间通信方面具有显著优势。 +- `mmap` 模块进行内存映射文件，处理超大文件、优化I/O性能以及进程间通信方面具有显著优势。 - `functools.lru_cache` 缓存计算结果，避免重复计算 。 -#### 讨论 - -从计算机系统结构的角度，提高 Python 代码速度的核心在于：减少解释器开销（编译/JIT）、提升并行性（多核/GPU）、优化内存访问（缓存友好）、降低 I/O 瓶颈以及适配硬件特性。具体实施时，应根据任务类型（CPU 密集型、I/O 密集型或混合型）选择合适的优化策略，并结合性能分析工具（如 cProfile 、timeit或 line_profiler）定位瓶颈。 -计算设备方面提升办法：使用多机、更快的 CPU、更多核的CPU、更多的内存、更快的存储、使用 GPU 、 FPGA 、TPU加速 。 -此外，随着Python社区的发展，新的技术和工具不断涌现，开发者应持续关注最新的进展，以便更好地优化自己的代 。 - - - - - +## 总结 +具体实施时，应根据任务类型（CPU 密集型、I/O 密集型或混合型）选择合适的优化策略，并结合性能分析工具（如 cProfile 、timeit或 line_profiler）定位瓶颈。 +计算设备方面的简单提升办法：使用多机、更快的 CPU、更多核的CPU、更多的内存、更快的存储、使用 GPU/FPGA/TPU 。 +此外，随着Python社区的发展，新的技术和工具不断涌现，开发者应持续关注最新的进展，以便更好地优化自己的代 。 \ No newline at end of file diff --git a/B 高性能模式/02 操作系统相关知识.md b/B 高性能模式/02 操作系统相关知识.md index ff95d0b..4c04d9b 100644 --- a/B 高性能模式/02 操作系统相关知识.md +++ b/B 高性能模式/02 操作系统相关知识.md @@ -4,45 +4,34 @@ 栈：系统自动分配释放，函数参数值，局部变量，返回地址等在此 堆：存放动态分配的数据，由开发人员自行管理 -进程表会记录进程在内存的位置，PID 是多少，以及当前什么状态，内存给它分配了多大使用空间以及属于哪个用户 - -每个用户态线程通过系统调用创建一个绑定的内核线程，Windows NT 即采用这种模型 ； -n 个用户态线程对应 m 个内核态线程。m 通常设置为核数，Linux 即采用的这种模型 - -在 Linux 中，操作系统采用虚拟内存管理技术，使得进程都拥有独立的虚拟内存空间，理由也比较直接，物理内存不够用且不安全(用户不能直接访问物理内存)。Linux 内核看来只有进程而没有线程。Linux所谓的线程其实是与其他进程共享资源的轻量级进程。为什么说是轻量级呢？在于它只有一个执行上下文和调度程序所需的信息，与父进程共享进程地址空间 。 +不同操作系统进程和线程实现机制有不同。 虚拟内存技术，把进程虚拟地址空间划分成用户空间和内核空间。 -在 32 位的操作系统中，4GB 的进程地址空间分为，用户空间和内核空间，用户空间为 0～3G，内核地址空间占据 3～4G， -用户不能直接操作内核空间虚拟地址，只有通过系统调用的方式访问内核空间。 +在 32 位的操作系统中，4GB 的进程地址中用户空间为 0～3G，内核地址空间为 3～4G， +用户不能直接操作内核地址，只有通过系统调用的方式访问。 线程共享虚拟内存和全局变量等资源，线程拥有自己的私有数据比如栈和寄存器。 -## 并发/并行 -多任务简单地说，就是操作系统可以同时运行多个任务。分为并行和并发两种。 +## 多任务 +多任务就是操作系统可以同时运行多个任务。分为并行和并发两种。 并行是真在不同CPU核上同时执行，并发是轮换在一个核上执行。 -【顺序】 你做作业，然后看综艺， -【并发】 你写程序到一半，综艺开始，看完综艺后继续写程序。两件事情都处于启动状态 -【并行】 你写程序到一半，综艺开始，你一边做作业一边写程序。两件事情同时做 ## 阻塞/非阻塞 等候消息的过程中能不能干其他事 - ## 同步/异步 指的是消息通知的机制 -主动听消息则为同步(一直等,轮流取)、被动听消息则为异步 -异步过程调用发出后，可以继续执行其它操作 通知调用者的三种方式，如下 -状态：即监听被调用者的状态（轮询），调用者没隔一段时间检查一次，效率会很低。 -通知：当被调用者执行完成后，发出通知告知调用者，无需消耗太多性能。 -回调：与通知类似，当被调用者执行完成后，会调用调用者提供的回调函数。 +状态：即监听被调用者的状态，调用者每隔一段时间检查一次是否完成（轮询）。 +通知：当被调用者执行完成后，发出通知告知调用者。 +回调：当被调用者执行完成后，调用调用者提供的回调函数 。 -## 进程、线程、协程 +## 进程、线程 -一个游戏，启动后为一个进程 运行一个软件就是开了一个进程 +比如，一个游戏启动后为一个进程 但一个游戏需要图形渲染，联网操作能同时运行 所以将其各个部分设计为线程 即一个进程有多个线程 @@ -53,34 +42,17 @@ n 个用户态线程对应 m 个内核态线程。m 通常设置为核数，Linu 一个进程无法访问另一个进程的空间 一个进程运行的失败也不会影响其他进程的运行 +因为操作系统可以切换进程，所以看起来同时运行的进程数会超过核数 +当需要创建的子进程数量巨大时，可以创建进程池 +进程间常通过消息队列程序实现数据传递 + 一个进程内可以包含多个线程 -线程是程序执行的基本单位，是进程中的实际运作单位 +线程是程序执行的基本单位 线程是操作系统分配处理器时间的基本单元 线程之间没有单独的地址空间，一个线程死掉就等于整个进程死掉 -协程运行在线程之上 -协程的调度完全由用户控制，协程拥有自己的寄存器上下文和栈 -通常我们所说的电脑配置几核就是最大可以运行的进程， -因为电脑会切换进程，所以看起来电脑会同时运行的进程数会超过核数 -当需要创建的子进程数量巨大时，就可以创建进程池 -进程是常通过Queue实现数据传递，Queue是一个消息队列程序 - -线程是进程的一部分，一个进程下的多个线程可以共享该进程的所有资源 -多个线程共享内存（数据和全局变量共享）。 -如果多个线程同时对同一个全局变量操作，会出现资源竞争问题，从而数据结果会不正确 -需要进行同步控制。某个线程要更改共享数据时，先将其锁定，此时资源的状态为“锁定”，其他线程不能更改；直到该线程释放资源，将资源的状态变成“非锁定”，其他的线程才能再次锁定该资源。 +一个进程下的多个线程可以共享该进程的资源，包括内存。 +多个线程同时对同一个全局变量操作，会出现竞争问题，从而数据结果会不正确 +同步控制。某个线程要更改数据时，先将其锁定，直到将状态变成“非锁定”，其他的线程才能锁该资源。 如果两个线程分别占有一部分资源并且同时等待对方的资源，就会造成死锁。 -可以添加超时时间等，解决死锁 - -协程是在一个线程中 -协程是异步编程的一种具体实现。异步编程是一种编程范式，旨在提高程序的并发能力。 -协程是一种允许在特定位置暂停或恢复的子程序。协程提供了一种轻量级的并发方式，允许多个任务在单线程内交错执行，非常适合 I/O 密集型场景。 -和回调等其他异步技术相比， -协程维持了正常的代码流程，在保证代码可读性的同时最大化地利用了 阻塞 IO 的空闲时间。 - -协程在Python中有三种实现方式： -- 生成器中使用 yield/send -- 第三方库 gevent -- Python 3.5 以后的标准库中的 async/await - -异步编程在当前 python 社区，常常等价于协程，甚至等价于 async \ No newline at end of file +可以用一些机制解决死锁，比如超时。 \ No newline at end of file diff --git a/B 高性能模式/04 其它知识.md b/B 高性能模式/04 其它知识.md index 5de5c7b..c36aeb7 100644 --- a/B 高性能模式/04 其它知识.md +++ b/B 高性能模式/04 其它知识.md @@ -14,7 +14,26 @@ JIT 的工作原理：**解释执行**：程序开始时，代码以解释方式 - **Taichi**：专注于高性能计算，适合图形学、物理仿真等领域。 +### 异步编程生态系统中的几个概念 + +异步编程：异步编程是一种编程范式，允许任务并发执行。 +在 Python 中，异步编程可以通过协程、回调、事件循环等多种方式实现。 + +协程：协程是异步编程的一种实现方式，协程是一种在执行过程中可以暂停和恢复的函数。 +协程运行在线程之上，协程的调度完全由用户控制 。 +同回调等其他异步技术相比，协程维持了正常的代码流程，提高了代码可读性。 + +Async：Async 是 Python 3.5 引入的一个关键字，用于定义异步函数（即协程）。async def 定义的函数可以暂停执行，使用 await 等待其他操作完成，它们构成了 Python 的异步编程语法。 + +asyncio：asyncio 是 Python 标准库中管理协程的框架。 + +Python 的异步编程经历了从生成器（yield/send）协程到原生协程的演变。 +原生协程最初使用 @asyncio.coroutine 和 yield from ， +自 Python 3.5 起，async/await 成为标准 。 +第三方库 gevent 也有不短的历史 。 + + ### 碎片 - 网络系统常用架构 ：服务端用线程池，客户端用 asynico - 异步 -- 分布式方法：celery ，不用自己造车 （ lzuDataFactory ）！！！ -- thread模块是比较底层的模块,threading模块对thread做了一些包装 \ No newline at end of file +- 分布式任务队列系统：celery ，不用自己造车 （ lzuDataFactory ） +- thread 模块是比较底层的模块, threading 模块对 thread 做了一些包装 \ No newline at end of file