python之多线程和多进程以及threading和multiprocessing模块

在 Python 中，多线程和多进程是实现并发编程的两种主要方式。多线程适用于 I/O 密集型任务，而多进程适用于 CPU 密集型任务。Python 提供了 threading 模块用于多线程编程，提供了 multiprocessing 模块用于多进程编程。

多线程

基本用法

使用 threading 模块可以创建和管理线程。以下是一个简单的多线程示例：

import threading
import timedef worker(name):print(f"Thread {name} starting")time.sleep(2)print(f"Thread {name} finishing")# 创建线程
thread1 = threading.Thread(target=worker, args=("A",))
thread2 = threading.Thread(target=worker, args=("B",))# 启动线程
thread1.start()
thread2.start()# 等待线程完成
thread1.join()
thread2.join()print("All threads finished")
线程锁

线程锁用于防止多个线程同时访问共享资源，避免竞争条件。以下是一个使用线程锁的示例：

import threadinglock = threading.Lock()
counter = 0def increment_counter():global counterfor _ in range(100000):with lock:counter += 1# 创建线程
threads = []
for i in range(10):thread = threading.Thread(target=increment_counter)threads.append(thread)thread.start()# 等待线程完成
for thread in threads:thread.join()print(f"Final counter value: {counter}")

多进程

基本用法

使用 multiprocessing 模块可以创建和管理进程。以下是一个简单的多进程示例：

import multiprocessing
import timedef worker(name):print(f"Process {name} starting")time.sleep(2)print(f"Process {name} finishing")# 创建进程
process1 = multiprocessing.Process(target=worker, args=("A",))
process2 = multiprocessing.Process(target=worker, args=("B",))# 启动进程
process1.start()
process2.start()# 等待进程完成
process1.join()
process2.join()print("All processes finished")
进程锁

进程锁用于防止多个进程同时访问共享资源，避免竞争条件。以下是一个使用进程锁的示例：

import multiprocessinglock = multiprocessing.Lock()
counter = multiprocessing.Value('i', 0)def increment_counter():for _ in range(100000):with lock:counter.value += 1# 创建进程
processes = []
for i in range(10):process = multiprocessing.Process(target=increment_counter)processes.append(process)process.start()# 等待进程完成
for process in processes:process.join()print(f"Final counter value: {counter.value}")

threading 模块

threading 模块用于在单个进程中创建和管理多个线程。线程是轻量级的，并且共享相同的内存空间。

参数

  1. target:

    • 类型: 可调用对象
    • 说明: 线程启动后要执行的函数或方法。

  2. name:

    • 类型: 字符串
    • 说明: 线程的名称。默认情况下，Python 会自动生成一个唯一的名称。

  3. args:

    • 类型: 元组
    • 说明: 传递给 target 函数的位置参数。

  4. kwargs:

    • 类型: 字典
    • 说明: 传递给 target 函数的关键字参数。

  5. daemon:

    • 类型: 布尔值
    • 说明: 如果设置为 True，则表示该线程是守护线程。当所有非守护线程结束时，程序将退出，即使守护线程仍在运行。
示例
import threadingdef worker(arg1, arg2, kwarg1=None):print(f"Worker thread is running with arguments: {arg1}, {arg2}, {kwarg1}")# 创建线程，传递位置参数和关键字参数
thread = threading.Thread(target=worker,args=(10, 20),kwargs={'kwarg1': 'example'},name='MyWorkerThread',daemon=True
)# 启动线程
thread.start()# 等待线程完成
thread.join()
  • target=worker: 指定线程要执行的函数是 worker。
  • args=(10, 20): 传递给 worker 函数的位置参数是 10 和 20。
  • kwargs={'kwarg1': 'example'}: 传递给 worker 函数的关键字参数是 kwarg1='example'。
  • name='MyWorkerThread': 指定线程的名称为 MyWorkerThread。
  • daemon=True: 将线程设置为守护线程。
基本用法
  1. 创建线程
import threadingdef worker():print("Worker thread is running")# 创建线程
thread = threading.Thread(target=worker)# 启动线程
thread.start()# 等待线程完成
thread.join()
  1. 使用子类创建线程
import threadingclass MyThread(threading.Thread):def run(self):print("MyThread is running")# 创建线程
thread = MyThread()# 启动线程
thread.start()# 等待线程完成
thread.join()
  1. 线程同步

使用 threading.Lock 来确保线程安全。

import threadinglock = threading.Lock()def worker():with lock:# 线程安全的代码块print("Worker thread is running")# 创建多个线程
threads = [threading.Thread(target=worker) for _ in range(5)]# 启动所有线程
for thread in threads:thread.start()# 等待所有线程完成
for thread in threads:thread.join()

multiprocessing 模块

multiprocessing 模块用于创建和管理多个进程。每个进程都有自己独立的内存空间，因此适用于 CPU 密集型任务。
在 multiprocessing 模块中，multiprocessing.Process 类用于创建和管理进程。与 threading.Thread 类似，multiprocessing.Process 也接受一些参数来配置进程的行为。以下是 multiprocessing.Process 的常用参数及其解释：

multiprocessing.Process 参数

  1. target:

    • 类型: 可调用对象
    • 说明: 进程启动后要执行的函数或方法。

  2. name:

    • 类型: 字符串
    • 说明: 进程的名称。默认情况下，Python 会自动生成一个唯一的名称。

  3. args:

    • 类型: 元组
    • 说明: 传递给 target 函数的位置参数。

  4. kwargs:

    • 类型: 字典
    • 说明: 传递给 target 函数的关键字参数。

  5. daemon:

    • 类型: 布尔值
    • 说明: 如果设置为 True，则表示该进程是守护进程。当所有非守护进程结束时，程序将退出，即使守护进程仍在运行。
示例
import multiprocessingdef worker(arg1, arg2, kwarg1=None):print(f"Worker process is running with arguments: {arg1}, {arg2}, {kwarg1}")# 创建进程，传递位置参数和关键字参数
process = multiprocessing.Process(target=worker,args=(10, 20),kwargs={'kwarg1': 'example'},name='MyWorkerProcess',daemon=True
)# 启动进程
process.start()# 等待进程完成
process.join()
  • target=worker: 指定进程要执行的函数是 worker。
  • args=(10, 20): 传递给 worker 函数的位置参数是 10 和 20。
  • kwargs={'kwarg1': 'example'}: 传递给 worker 函数的关键字参数是 kwarg1='example'。
  • name='MyWorkerProcess': 指定进程的名称为 MyWorkerProcess。
  • daemon=True: 将进程设置为守护进程。
进程的启动和等待
  • process.start(): 启动进程，调用 worker 函数。
  • process.join(): 等待进程完成。在 process.join() 被调用之前，主进程会被阻塞。
进程间通信

multiprocessing 模块还提供了多种进程间通信的方式，如 Queue、Pipe、Value 和 Array 等。

使用 Queue 进行进程间通信
import multiprocessingdef worker(queue):queue.put("Message from worker")# 创建队列
queue = multiprocessing.Queue()# 创建进程
process = multiprocessing.Process(target=worker, args=(queue,))# 启动进程
process.start()# 等待进程完成
process.join()# 获取队列中的消息
message = queue.get()
print(message)
使用 Pipe 进行进程间通信
import multiprocessingdef worker(conn):conn.send("Message from worker")conn.close()# 创建管道
parent_conn, child_conn = multiprocessing.Pipe()# 创建进程
process = multiprocessing.Process(target=worker, args=(child_conn,))# 启动进程
process.start()# 等待进程完成
process.join()# 获取管道中的消息
message = parent_conn.recv()
print(message)

通过这些参数和通信方式，你可以灵活地配置和管理进程的行为，并实现进程间的通信。

基本用法
  1. 创建进程
import multiprocessingdef worker():print("Worker process is running")# 创建进程
process = multiprocessing.Process(target=worker)# 启动进程
process.start()# 等待进程完成
process.join()
  1. 使用子类创建进程
import multiprocessingclass MyProcess(multiprocessing.Process):def run(self):print("MyProcess is running")# 创建进程
process = MyProcess()# 启动进程
process.start()# 等待进程完成
process.join()
  1. 进程间通信

使用 multiprocessing.Queue 或 multiprocessing.Pipe 进行进程间通信。

import multiprocessingdef worker(queue):queue.put("Message from worker")# 创建队列
queue = multiprocessing.Queue()# 创建进程
process = multiprocessing.Process(target=worker, args=(queue,))# 启动进程
process.start()# 等待进程完成
process.join()# 获取队列中的消息
message = queue.get()
print(message)
  1. 进程池

使用 multiprocessing.Pool 来管理进程池。

import multiprocessingdef worker(x):return x * x# 创建进程池
with multiprocessing.Pool(4) as pool:results = pool.map(worker, [1, 2, 3, 4, 5])print(results)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/52311.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深度学习100问9-什么是word2vec模型

深度学习100问9-什么是word2vec模型

Word2vec 模型是一种用于将词语转换为向量表示的工具。 想象一下，我们有很多很多的词语，就像一个个不同的小盒子。Word2vec 模型的作用就是给每个小盒子都找到一个对应的位置，这个位置用一个向量来表示。这样，意思相近的词语在这…
阅读更多...
Google Colab快速使用

Google Colab快速使用

Google Colab快速使用 1. 引言2. Jupyter笔记本的创建3. 上传代码和数据集4. Colab常规指令 1. 引言 Google Colab是谷歌提供的免费Jupyter，很类似于Linux系统这些在终端界面操纵的感觉，不需要深度学习环境配置就可以使用，完全基于云端运行。…
阅读更多...
Shell输出、重定向与管道符

Shell输出、重定向与管道符

Shell输出、重定向与管道符 1、Shell输出1.1、标准输入输出1.2、echo指令1.3、print与printf指令 2、Shell重定向3、Shell管道符 由于Shell脚本批处理的特殊性，其大部分操作过程位于后台，不需要用户进行干预，因此，使用重定向和管道…
阅读更多...
在Windows Server 2012 R2上安装.NET Framework 3.5

在Windows Server 2012 R2上安装.NET Framework 3.5

在Windows Server 2012 R2上安装.NET Framework 3.5，可以按照以下步骤进行： 打开服务器管理器： 首先，登录到Windows Server 2012 R2的服务器。然后，打开“服务器管理器”。添加角色和功能： 在“服务器管理…
阅读更多...
react面试题五

react面试题五

一、请解释React中的高阶组件（HOC）和Hooks。 在React中，高阶组件（High-Order Components, HOCs）和Hooks是两种强大的特性，它们用于重用组件逻辑。尽管它们的目的相似，但它们在实现和使用方式上有…
阅读更多...
使用Python恢复Windows、Linux、MacOS回收站中的文件和目录

使用Python恢复Windows、Linux、MacOS回收站中的文件和目录

一、使用Python恢复Windows回收站中的文件和目录 import os import platformdef put_back_trash():# 获取操作系统类型os_type platform.system()if os_type "Windows": # Windowsfrom winshell import recycle_binfor item in recycle_bin():winshell.undelete(…
阅读更多...
针对防火墙IPSec业务不通或业务丢包问题，防火墙如何做流量统计、远程抓包、报文示踪

针对防火墙IPSec业务不通或业务丢包问题，防火墙如何做流量统计、远程抓包、报文示踪

问题描述 针对防火墙IPSec业务不通或业务丢包问题，防火墙如何做流量统计、远程抓包、报文示踪 解决方案 1）配置流统和远程抓包用的ACL； system [sysname] acl 3555 [sysname-acl-adv-3555] rule permit icmp source 10.82.100.215 0 destin…
阅读更多...
结构型模式之代理模式

结构型模式之代理模式

一、概述 1、代理模式：给某一个对象提供一个代理或占位符，并由代理对象来控制对原对象的访问。 2、代理对象在客户端和目标对象之间起到中介作用 3、引入一个新的代理对象，代理模式的主要目的是在不改变原始对象接口的前提下，增…
阅读更多...
DORIS学习网址

DORIS学习网址

DORIS学习网址 序号学习网址备注1ApacheDoris系列｜Bucket(分桶)数量设置和自动分桶-CSDN博客自动分桶2Apache Doris 入门教程23：自动分桶和Broker概念介绍_doris broker-CSDN博客新版自动分桶说明3一文教你玩转 Apache Doris 分区分桶新功能｜…
阅读更多...
Spring 中AbstractRefreshableWebApplicationContext

Spring 中AbstractRefreshableWebApplicationContext

AbstractRefreshableWebApplicationContext 是 Spring Framework 中用于 Web 应用程序的一个抽象类，位于 org.springframework.web.context.support 包中。它继承自 AbstractRefreshableApplicationContext，主要用于支持 Web 应用程序的上下文管理。 主…
阅读更多...
[C语言]一、C语言基础（函数）

[C语言]一、C语言基础（函数）

G:\Cpp\C语言精讲 6. 函数 6.1函数的基本使用 6.1.1 为什么需要函数 《街霸》游戏中，每次人物出拳、出脚或跳跃等动作都需要编写50-80行的代码，在每次出拳、出脚或跳跃的地方都需要重复地编写这50-80行代码，这样程序会变得很臃肿&#xff…
阅读更多...
C++基础面试题 | C和C++的区别？

C++基础面试题 | C和C++的区别？

人生如逆旅，我亦是行人。 - 《临江仙送钱穆父》(苏轼) 2024.8.23 回答重点：C可以认为是C语言的超集，绝大部分C语言代码可以使用C运行 在设计思想上：面向过程 vs 面向对象 C是一种面向过程的编程语言，它侧重于函数和过程…
阅读更多...
python学习8-数据获取与整理4

python学习8-数据获取与整理4

pandas迭代 在 Pandas 中，通常情况下你不需要迭代（遍历）DataFrame 或 Series，因为很多操作都是矢量化的，可以直接应用于整个数据集。然而，有时候你可能需要遍历数据帧（DataFrame）或…
阅读更多...
通过Python绘制不同数据类型适合的可视化图表

通过Python绘制不同数据类型适合的可视化图表

在数据可视化中，对于描述数值变量与数值变量之间的关系常见的有散点图和热力图，以及描述数值变量与分类变量之间的关系常见的有条形图，饼图和折线图，可以通过使用Python的matplotlib和seaborn库来绘制图表进行可视化表达&#xff…
阅读更多...
如何使用ssm实现ssm框架的购物网站+vue

如何使用ssm实现ssm框架的购物网站+vue

TOC ssm113ssm框架的购物网站vue 绪论 1.1 研究背景 当前社会各行业领域竞争压力非常大，随着当前时代的信息化，科学化发展，让社会各行业领域都争相使用新的信息技术，对行业内的各种相关数据进行科学化，规范化管理。…
阅读更多...
如何评估Redis的性能

如何评估Redis的性能

如果系统中出现了大 key、热 key 等，往往会导致 Redis 变慢，但是这个慢该如何界定？多久算慢？1秒还是3秒？ 这个肯定是没有标准答案，因为这个和你的硬件设备有关。 硬件差一些，平时响应时间都是…
阅读更多...
[C++] 初识 智能指针

[C++] 初识 智能指针

标题：[C] 初识 智能指针 水墨不写bug 目录 一、前言 二、智能指针 1. 什么是RAII？ 2.智能指针分类 三、智能指针简介 1.std::auto_ptr 2.std::unique_ptr 3.std::shared_ptr 正文开始： 一、前言 C智能指针的出现是有一定的背景的&am…
阅读更多...
今天你City了吗？维乐Angel Revo带你穿梭都市自由随风～

今天你City了吗？维乐Angel Revo带你穿梭都市自由随风～

当7月的热浪在都市中翻滚，你是否渴望逃离钢筋水泥的束缚，寻找一片属于自己的绿意盎然？今天你City了吗？快带上VELO Angel Revo一起抓住夏日的尾巴，用一场骑行与这座城市的风景共舞！ 　　 　　轻巧出行&#…
阅读更多...
Centos安装Jenkins教程详解版（JDK8+Jenkins2.346.1）

Centos安装Jenkins教程详解版（JDK8+Jenkins2.346.1）

本教程基于 JDK8 和 Jenkins2.346.1 JDK安装 下载OpenJDK8文件 wget https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/OpenJDK8U-jdk_x64_linux_hotspot_8u422b05.tar.gz解压到指定目录 # 创建目录 mkdir -p /usr/local/software# 解压文件到指定目录&#…
阅读更多...
linux-基础知识1

linux-基础知识1

简单命令 init 0 关机 int 6 重启 pwd 查看当前所在目录， cd切换目录 ls 列出目录下的内容 clear 清屏 date 查看时间 路径 linux表示硬件设备的文件在dev目录 /tmp是临时目录，可以创建目录和文件，但不能保证安全 df查看文件系统…
阅读更多...
最新文章

Copyright @ 2022~2023