Python多线程（自学必备 超详细）

多线程技术

1. 多任务

1.1 多任务的概念

多任务：在同一时间内执行多个任务[可以把每个任务理解为生活当中的每个活]

1.2 现实生活中的多任务

1. 操作系统可以同时运行多个任务。比如，你一边打游戏，一边和队友沟通，这就是多任务
   操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换到任务2，任务2执行0.01秒，再切换到任务3，执行0.01秒……这样反复执行下去。表面上看，每个任务都是交替执行的，但是，由于CPU的执行速度实在是太快了，我们感觉就像所有任务都在同时执行一样。
   单核cpu是并发的执行多任务，真正的并行执行多任务只能在多核CPU上实现，但是，由于任务数量远远多于CPU的核心数量，所以，操作系统也会自动把很多任务轮流调度到每个核心上执行。

   
   
   
   

2. 一边唱跳rap打篮球的蔡徐坤

小结

• 并发：指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务“一起”执行（实际上总有一些任务不在执行，因为切换任务的速度相当快，看上去一起执行而已）
• 并行：指的是任务数小于等于cpu核数，即任务真的是一起执行的

2.线程的使用

2.1 线程的概念

线程就是在程序运行过程中，执行程序代码的一个分支，每个运行的程序至少都有一个线程

2.2 单线程执行[唱，跳]

from time import sleep def sing(): for i in range(3): print("正在唱歌{}".format(i)) def dance(): for i in range(3): print("正在跳舞{}".format(i)) if __name__ == "__main__": sing() dance() 

运行结果

正在唱歌0 正在唱歌1 正在唱歌2 正在跳舞0 正在跳舞1 正在跳舞2 

3.多线程

3.1导入线程模块

import threading # 或者直接使用 Thread from threading import Thread 

3.2线程类的Thread参数的说明

""" Thread([group [, target [, name [, args [, kwargs]]]]]) group: 线程组，目前只能使用None target: 执行的目标任务名 args: 以元组的方式给执行任务传参 kwargs: 以字典方式给执行任务传参 name: 线程名，一般不用设置 """ 

线程方法

Thread创建的实例对象的常用方法：

• start()：启动子进程实例（创建子线程）
• join([timeout])：是否等待子线程执行结束，或等待多少秒

3.4多线程执行[唱，跳]

import threading import time # 唱歌任务 def sing(): for i in range(3): print("正在唱歌{}".format(i)) time.sleep(1) # 跳舞任务 def dance(): for i in range(3): print("正在跳舞{}".format(i)) if __name__ == "__main__": # 创建唱歌线程 sing_thread = threading.Thread(target=sing) # 创建跳舞线程 dance_thread = threading.Thread(target=dance) #开启线程 sing_thread.start() dance_thread.start() 

执行结果

正在唱歌0 正在跳舞0 正在跳舞1 正在跳舞2 正在唱歌1 正在唱歌2 

3.4多线程执行带有参数的任务

import threading import time # 唱歌任务 def sing(count): for i in range(count): print("正在唱歌{}".format(i)) time.sleep(1) # 跳舞任务 def dance(count): for i in range(count): print("正在跳舞{}".format(i)) if __name__ == "__main__": # 创建唱歌线程 sing_thread = threading.Thread(target=sing, args=(3, )) # 创建跳舞线程 dance_thread = threading.Thread(target=dance, kwargs={"count": 3}) #开启线程 sing_thread.start() dance_thread.start() 

4.产看获取的线程列表

1. threading.current_thread() 获取当前执行代码的线程
2. threading.enumerate() 获取当前程序活动线程的列表
   

   唱歌任务

   跳舞任务

   if name == “main”:
   # 获取当前执行代码的线程（主线程）
   print(“主线程：”, threading.current_thread())
   # 获取当前活动的线程
   thread_list = threading.enumerate()
   print(“未创建和执行子线程时：”, thread_list)
   # 创建唱歌线程
   sing_thread = threading.Thread(target=sing, args=(3, ), name=“唱歌任务”)
   # 创建跳舞线程
   dance_thread = threading.Thread(target=dance, kwargs={“count”: 3}, name=“跳舞任务”)

   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

    thread_list = threading.enumerate() print("创建和未执行子线程时：", thread_list) #开启线程 sing_thread.start() dance_thread.start() thread_list = threading.enumerate() print("创建和执行子线程时：", thread_list) 

执行结果

主线程： <_MainThread(MainThread, started 12780)> 未创建和执行子线程时： [<_MainThread(MainThread, started 12780)>] 创建和未执行子线程时： [<_MainThread(MainThread, started 12780)>] 正在唱歌0 正在跳舞0 创建和执行子线程时： [<_MainThread(MainThread, started 12780)>, 
  
    , 
   
     ] 正在跳舞1 正在跳舞2 正在唱歌1 正在唱歌2 
    
  

总结：只有线程启动，线程才会加入到活动列表

5. 多线程注意点

目标

• 知道线程执行的注意点

5.1 线程之间执行是无序的

import threading import time def task(): time.sleep(1) print("当前线程:", threading.current_thread().name) if __name__ == '__main__': for _ in range(5): sub_thread = threading.Thread(target=task) sub_thread.start() 

执行结果

当前线程: Thread-3 当前线程: Thread-2 当前线程: Thread-4 当前线程: Thread-1 当前线程: Thread-5 

5.2 主线程会等待所有的子线程结束后才结束

import threading import time # 测试主线程是否会等待子线程执行完成以后程序再退出 def show_info(): for i in range(5): print("test:", i) time.sleep(0.5) if __name__ == '__main__': sub_thread = threading.Thread(target=show_info) sub_thread.start() # 主线程延时1秒 time.sleep(1) print("over") 

5.3 守护主线程

import threading import time # 测试主线程是否会等待子线程执行完成以后程序再退出 def show_info(): for i in range(5): print("test:", i) time.sleep(0.5) if __name__ == '__main__': # 创建子线程守护主线程 # daemon=True 守护主线程 # 守护主线程方式1 sub_thread = threading.Thread(target=show_info, daemon=True) # 设置成为守护主线程，主线程退出后子线程直接销毁不再执行子线程的代码 # 守护主线程方式2 # sub_thread.setDaemon(True) sub_thread.start() # 主线程延时1秒 time.sleep(1) print("over") 

5.4 总结

1. 线程之间执行时无序的。
2. 主线程会等待所有的子线程结束后才结束，如果需要可以设置守护主线程
3. 自定义线程

目标

• 知道如何自定义线程
• 知道如何使用自定义线程执行对应的任务

6.1 自定义线程代码

import threading # 自定义线程类 class MyThread(threading.Thread): # 通过构造方法取接收任务的参数 def __init__(self, info1, info2): # 调用父类的构造方法 super(MyThread, self).__init__() self.info1 = info1 self.info2 = info2 # 定义自定义线程相关的任务 def test1(self): print(self.info1) def test2(self): print(self.info2) # 通过run方法执行相关任务 def run(self): self.test1() self.test2() # 创建自定义线程 my_thread = MyThread("测试1", "测试2") # 启动 my_thread.start() 

执行结果:

测试1 测试2 

6.2 小结

• 自定义线程不能指定target，因为自定义线程里面的任务都统一在run方法里面执行
• 启动线程统一调用start方法，不要直接调用run方法, 因为这样不是使用子线程去执行任务

多线程-共享全局变量

1.多线程共享全局变量的代码

import threading import time # 定义全局变量 my_list = list() # 写入数据任务 def write_data(): for i in range(5): my_list.append(i) time.sleep(0.1) print("write_data:", my_list) # 读取数据任务 def read_data(): print("read_data:", my_list) if __name__ == '__main__': # 创建写入数据的线程 write_thread = threading.Thread(target=write_data) # 创建读取数据的线程 read_thread = threading.Thread(target=read_data) write_thread.start() # 延时 # time.sleep(1) # 主线程等待写入线程执行完成以后代码在继续往下执行 write_thread.join() print("开始读取数据啦") read_thread.start() 

运行结果:

write_data: [0, 1, 2, 3, 4] 开始读取数据啦 read_data: [0, 1, 2, 3, 4] 

7. 共享全局变量问题

7.1 多线程同时对全局变量进行操作

import threading # 定义全局变量 g_num = 0 # 循环一次给全局变量加1 def sum_num1(): for i in range(): global g_num g_num += 1 print("sum1:", g_num) # 循环一次给全局变量加1 def sum_num2(): for i in range(): global g_num g_num += 1 print("sum2:", g_num) if __name__ == '__main__': # 创建两个线程 first_thread = threading.Thread(target=sum_num1) second_thread = threading.Thread(target=sum_num2) # 启动线程 first_thread.start() # 启动线程 second_thread.start() 

运行结果:

sum1:  sum2:  

注意点:

多线程同时对全局变量操作数据发生了错误

7.2 多线程同时操作全局变量导致数据可能出现错误的原因分析

两个线程first_thread和second_thread都要对全局变量g_num(默认是0)进行加1运算，但是由于是多线程同时操作，有可能出现下面情况：

1. 在g_num=0时，first_thread取得g_num=0。此时系统把first_thread调度为”sleeping”状态，把second_thread转换为”running”状态，t2也获得g_num=0
2. 然后second_thread对得到的值进行加1并赋给g_num，使得g_num=1
3. 然后系统又把second_thread调度为”sleeping”，把first_thread转为”running”。线程t1又把它之前得到的0加1后赋值给g_num。
4. 这样导致虽然first_thread和first_thread都对g_num加1，但结果仍然是g_num=1

7.3 全局变量数据错误的解决办法

线程同步: 保证同一时刻只能有一个线程去操作全局变量 同步: 就是协同步调，按预定的先后次序进行运行。如:你说完，我再说, 好比现实生活中的对讲机

线程同步的方式:

1. 线程等待(join)
2. 互斥锁

线程等待的代码

import threading # 定义全局变量 g_num = 0 # 循环次每次给全局变量加1 def sum_num1(): for i in range(): global g_num g_num += 1 print("sum1:", g_num) # 循环次每次给全局变量加1 def sum_num2(): for i in range(): global g_num g_num += 1 print("sum2:", g_num) if __name__ == '__main__': # 创建两个线程 first_thread = threading.Thread(target=sum_num1) second_thread = threading.Thread(target=sum_num2) # 启动线程 first_thread.start() # 主线程等待第一个线程执行完成以后代码再继续执行，让其执行第二个线程 # 线程同步： 一个任务执行完成以后另外一个任务才能执行，同一个时刻只有一个任务在执行 first_thread.join() # 启动线程 second_thread.start() 

执行结果:

sum1:  sum2:  

7.4 结论

• 多个线程同时对同一个全局变量进行操作，会有可能出现资源竞争数据错误的问题
• 线程同步方式可以解决资源竞争数据错误问题，但是这样有多任务变成了单任务。

8. 互斥锁

8.1 互斥锁的概念

互斥锁: 对共享数据进行锁定，保证同一时刻只能有一个线程去操作。

注意:

• 抢到锁的线程先执行，没有抢到锁的线程需要等待，等锁用完后需要释放，然后其它等待的线程再去抢这个锁，那个线程抢到那个线程再执行。
• 具体那个线程抢到这个锁我们决定不了，是由cpu调度决定的。

线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁。

互斥锁为资源引入一个状态：锁定/非锁定

某个线程要更改共享数据时，先将其锁定，此时资源的状态为“锁定”，其他线程不能更改；直到该线程释放资源，将资源的状态变成“非锁定”，其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作，从而保证了多线程情况下数据的正确性。

threading模块中定义了Lock变量，这个变量本质上是一个函数，可以方便的处理锁定：

# 创建锁 mutex = threading.Lock() # 锁定 mutex.acquire() # 释放 mutex.release() 

注意：

• 如果这个锁之前是没有上锁的，那么acquire不会堵塞
• 如果在调用acquire对这个锁上锁之前 它已经被 其他线程上了锁，那么此时acquire会堵塞，直到这个锁被解锁为止

8.2 使用互斥锁完成2个线程对同一个全局变量各加100万次的操作

import threading # 定义全局变量 g_num = 0 # 创建全局互斥锁 lock = threading.Lock() # 循环一次给全局变量加1 def sum_num1(): # 上锁 lock.acquire() for i in range(): global g_num g_num += 1 print("sum1:", g_num) # 释放锁 lock.release() # 循环一次给全局变量加1 def sum_num2(): # 上锁 lock.acquire() for i in range(): global g_num g_num += 1 print("sum2:", g_num) # 释放锁 lock.release() if __name__ == '__main__': # 创建两个线程 first_thread = threading.Thread(target=sum_num1) second_thread = threading.Thread(target=sum_num2) # 启动线程 first_thread.start() second_thread.start() # 提示：加上互斥锁，那个线程抢到这个锁我们决定不了，那线程抢到锁那个线程先执行，没有抢到的线程需要等待 # 加上互斥锁多任务瞬间变成单任务，性能会下降，也就是说同一时刻只能有一个线程去执行 

运行结果：

sum1:  sum2:  

可以看到最后的结果，加入互斥锁后，其结果与预期一样。

8.3 使用互斥锁的目的

能够保证多个线程访问共享数据不会出现资源竞争及数据错误

8.4 上锁、解锁过程

当一个线程调用锁的acquire()方法获得锁时，锁就进入“locked”状态。

每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁，该线程就会变为“blocked”状态，称为“阻塞”，直到拥有锁的线程调用锁的release()方法释放锁之后，锁进入“unlocked”状态。

线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁，并使得该线程进入运行（running）状态。

8.5 总结

锁的好处：

• 确保了某段关键代码只能由一个线程从头到尾完整地执行

锁的坏处：

• 多线程执行变成了包含锁的某段代码实际上只能以单线程模式执行，效率就大大地下降了
• 锁使用不好就容易出现死锁情况

9. 死锁

9.1 死锁的概念

死锁: 一直等待对方释放锁的情景就是死锁

9.2 死锁示例

死锁一旦发生就会造成应用的停止响应。下面看一个死锁的例子

import threading import time # 创建互斥锁 lock = threading.Lock() # 根据下标去取值， 保证同一时刻只能有一个线程去取值 def get_value(index): # 上锁 lock.acquire() print(threading.current_thread()) my_list = [3,6,8,1] # 判断下标释放越界 if index >= len(my_list): print("下标越界:", index) return value = my_list[index] print(value) time.sleep(0.2) # 释放锁 lock.release() if __name__ == '__main__': # 模拟大量线程去执行取值操作 for i in range(30): sub_thread = threading.Thread(target=get_value, args=(i,)) sub_thread.start() 

9.3 避免死锁

• 在合适的地方释放锁
  

  创建互斥锁

  lock = threading.Lock()

  根据下标去取值， 保证同一时刻只能有一个线程去取值

  def get_value(index):

   # 上锁 lock.acquire() print(threading.current_thread()) my_list = [3,6,8,1] if index >= len(my_list): print("下标越界:", index) # 当下标越界需要释放锁，让后面的线程还可以取值 lock.release() return value = my_list[index] print(value) time.sleep(0.2) # 释放锁 lock.release() 

  if name == ‘main’:
  # 模拟大量线程去执行取值操作
  for i in range(30):
  sub_thread = threading.Thread(target=get_value, args=(i,))
  sub_thread.start()

  
  
  
  
  
  
  
  

9.4 小结

• 使用互斥锁的时候需要注意死锁的问题，要在合适的地方注意释放锁
• 死锁一旦发生就会造成应用的停止响应