Python中使用多进程来实现并行处理的方法小结

发布时间：2024/01/24

下面是Python中使用多进程来实现并行处理的方法小结的详细攻略。

什么是多进程并行处理？

多进程并行处理是指同时启动多个进程执行任务，从而加快处理速度。在Python中，使用multiprocessing模块来实现多进程并行处理。

如何使用Python多进程并行处理？

1.创建进程

在Python中创建进程有两种方式：使用Process类和使用Pool类。

1.1 使用Process类

使用Process类可以方便地创建进程，代码如下：

import multiprocessing

def task():
    print('执行任务')

if __name__ == '__main__':
    p = multiprocessing.Process(target=task)
    p.start()

1.2 使用Pool类

使用Pool类可以方便地创建多个进程执行同一个函数，代码如下：

import multiprocessing

def task():
    print('执行任务')

if __name__ == '__main__':
    pool = multiprocessing.Pool()
    for i in range(5):
        pool.apply_async(task)

    pool.close()
    pool.join()

2.使用多进程并行处理

使用多进程并行处理需要分配任务，待所有进程执行完毕后，将各个进程的结果合并到一起。代码如下：

import multiprocessing

def worker(num):
    print('进程%s启动' % num)
    return num

if __name__ == '__main__':
    pool = multiprocessing.Pool()
    results = []
    for i in range(5):
        result = pool.apply_async(worker, args=(i,))
        results.append(result)

    pool.close()
    pool.join()

    for result in results:
        print(result.get())

在这个例子中，我们启动了5个进程执行work()函数，并将每个进程返回的结果存储在列表中。最后，我们使用get()函数获取每个进程的返回值并打印出来。

3.注意事项

在使用多进程并行处理时需要注意以下事项：

为了避免进程之间的冲突，尽量避免使用全局变量。
在Linux系统中，需要在主程序中添加if name == 'main'语句。
对于耗费内存的任务，可能会因为开启太多进程而导致内存溢出。
多进程并行处理可能会导致CPU占用率过高，影响其他应用程序的运行。

示例说明

下面提供两个示例说明。

示例一：计算多个整数的平方和

import multiprocessing

def square(num):
    return num ** 2

if __name__ == '__main__':
    nums = [1, 2, 3, 4, 5]
    pool = multiprocessing.Pool()
    results = [pool.apply_async(square, args=(num,)) for num in nums]
    pool.close()
    pool.join()

    total = sum([result.get() for result in results])
    print('结果为：%d' % total)

在这个例子中，我们使用multiprocessing.Pool()创建了一个进程池，并使用apply_async()函数异步向进程池中添加任务。每个任务都是计算一个整数的平方值。最后，我们取出进程返回的结果并计算它们的总和。

示例二：批量处理图片

import multiprocessing
import os
from PIL import Image

def process_image(file_path):
    try:
        img = Image.open(file_path)
        img = img.convert('RGB')
        img.save(file_path, quality=90)
    except Exception as e:
        print('文件%s处理出错：%s' % (file_path, str(e)))

if __name__ == '__main__':
    img_dir = 'images'  # 图片所在文件夹
    pool = multiprocessing.Pool()
    file_paths = [os.path.join(img_dir, fname) for fname in os.listdir(img_dir)]
    results = [pool.apply_async(process_image, args=(file_path,)) for file_path in file_paths]
    pool.close()
    pool.join()
    print('图片处理完毕！')

在这个例子中，我们使用multiprocessing.Pool()创建了一个进程池，并使用apply_async()函数异步向进程池中添加任务。每个任务都是处理一张图片文件，将其转换为RGB格式并压缩到90%质量。最后，我们打印出一条消息表明图片都已经处理完毕。