拉萨饭店

13 多计算单元/数据共享/1 内存/1 队列.py

@@ -50,6 +50,7 @@ if __name__ == '__main__':
 这些队列提供了线程安全的数据传输机制，可以避免竞态条件和数据损坏。
 全局变量不可预测
 
-multiprocessing.Queue在Python中的底层实现并不直接依赖于文件系统。它利用了操作系统提供的进程间通信（IPC, Inter-Process Communication）机制，具体实现取决于不同操作系统的支持。
-在Unix/Linux系统中，multiprocessing.Queue通常基于管道（pipes）、共享内存和/或消息队列等机制实现。而在Windows系统上，可能使用命名管道（named pipes）或者内存映射文件（memory-mapped files），以及某些版本的Windows特有的进程间同步对象如Mutexes、Semaphores和事件。
+multiprocessing.Queue 利用了操作系统提供的进程间通信（IPC, Inter-Process Communication）机制，具体实现取决于不同操作系统的支持。
+在Unix/Linux系统中，multiprocessing.Queue通常基于管道（pipes）、共享内存和/或消息队列等机制实现。
+而在Windows系统上，可能使用命名管道（named pipes）或者内存映射文件（memory-mapped files），以及某些版本的Windows特有的进程间同步对象如Mutexes、Semaphores和事件。
 '''    

13 多计算单元/数据分包/1 mapreduce.py

@@ -6,14 +6,12 @@ from functools import reduce
 stop_words = get_stopwords()
 
 # map - reduce
-def process_chunk(chunk):
-    # 过滤停用词
+def process_chunk(chunk): # 过滤停用词    
     words = [ w for w in chunk if ( not w in stop_words ) and len(w) >= 3 ]
     return Counter(words)
 
 def merge_counts(count1,count2):
-    sum_counts = count1 + count2
-    return sum_counts
+    return count1 + count2    
 
 
 @timing_decorator

13 多计算单元/数据分包/2 多线程.py

@@ -16,11 +16,8 @@ def process_chunk(chunk):
 
 
 def merge_counts(counts_list):
-    # 合并多个Counter对象
-    total_counts = Counter()
-    for counts in counts_list:
-        total_counts += counts
-    return total_counts
+    """合并多个Counter对象的总和"""
+    return sum(counts_list, Counter())
 
 
 def thread_function(chunk, counts_list):

13 多计算单元/数据分包/3 多进程.py

@@ -15,11 +15,8 @@ def process_chunk(chunk):
     return Counter(words)
 
 def merge_counts(counts_list):
-    # 合并多个Counter对象
-    total_counts = Counter()
-    for counts in counts_list:
-        total_counts += counts
-    return total_counts
+    """合并多个Counter对象的总和"""
+    return sum(counts_list, Counter())
 
 
 @timing_decorator