以下是一个使用多进程队列实现百分之百负载的代码示例:
import multiprocessing
def worker(input_queue, output_queue):
while True:
item = input_queue.get()
if item is None:
break
# 在此处执行任务的代码
result = item * 2
output_queue.put(result)
if __name__ == '__main__':
# 创建输入和输出队列
input_queue = multiprocessing.Queue()
output_queue = multiprocessing.Queue()
# 创建多个 worker 进程
num_workers = multiprocessing.cpu_count()
workers = []
for _ in range(num_workers):
p = multiprocessing.Process(target=worker, args=(input_queue, output_queue))
p.start()
workers.append(p)
# 将任务放入输入队列
tasks = [1, 2, 3, 4, 5] # 假设有五个任务
for task in tasks:
input_queue.put(task)
# 添加 None 到输入队列,表示任务结束
for _ in range(num_workers):
input_queue.put(None)
# 获取结果
results = []
for _ in range(len(tasks)):
result = output_queue.get()
results.append(result)
# 等待所有 worker 进程结束
for p in workers:
p.join()
# 打印结果
print(results)
在上面的代码中,我们首先定义了一个worker
函数,它接收一个输入队列和一个输出队列作为参数。worker
函数会不断从输入队列中获取任务,执行任务的代码,然后将结果放入输出队列中。
在主程序中,我们创建了与 CPU 核心数量相同的 worker 进程,并将输入队列和输出队列作为参数传递给它们。然后,我们将任务放入输入队列中,并在最后添加了与 worker 进程数量相同的 None 值,表示任务结束。接着,我们从输出队列中获取结果,并等待所有的 worker 进程结束。
最后,我们打印出结果。在这个例子中,任务是将每个数值乘以2,所以最终的结果应该是[2, 4, 6, 8, 10]
。
上一篇:百分位数Python问题:设置值
下一篇:百个并发任务链