queue队列模块的使用

前言

为了解决多线程之间共享数据的问题，需要对线程进行加锁或者是线程等待；
更简单的解决这一问题，就需要引入队列的概念：
队列是一种特殊的线性表，是一种先进先出 (FIFO) 的数据结构，用于线程之间或进程之间的数据共享。
在 Python3 中提供了这样一个数据类型： 队列 queue
queue 模块 是 Python 标准库模块，无需手动安装，可以直接导入 import queue # 导入queue模块，此篇文章介绍 queue 模块 的基本使用方法。

正文

queue 模块提供了三种类型的队列：

• Queue ：先进先出 (FIFO) 队列
• LifoQueue ： 后进先出 (LIFO) 队列
• PriorityQueue ： 优先级队列，数据可设置优先级

其中较为常用的是：Queue ：先进先出 (FIFO) 队列，下面主要介绍 queue.Queue() 的使用方法

1、导入模块

from queue import Queue

2、常用方法

1. 创建队列： q=Queue(maxsize=0) maxsize 参数是int类型，用于设置可以放入队列中的项目数的上限。如果 maxsize 小于等于零，队列尺寸为无限大，所以一般设置为 q=Queue()。
2. 元素入队列： q.put(item, block=True, timeout=None)，item 参数是放入队列的项目；block 参数 设置是否阻塞，默认为 True ；timeout 参数用于设置阻塞时等待时长。
3. 元素出队列： q.get(block=True, timeout=None)，block 参数 设置是否阻塞，默认为 True ；timeout 参数用于设置阻塞时等待时长。
4. 判断队列是否为空： q.empty() ，空返回 True ,非空返回 False。
5. 判断队列是否已满： q.full() ，空返回 True ,非空返回 False。
6. 获取队列大小：q.qsize()，返回队列的大小。
7. 阻塞调用线程：q.join()，一直阻塞直到队列中的所有元素都被取出或执行，当未完成任务的计数（即全部取出）等于0，join 就不会阻塞，需要配合 task_done() 使用。
8. 元素入队列任务完成：q.task_done()，每执行一次 get() 获取一个元素， 后续调用 task_done() 告诉队列，该数据的处理已经完成，即执行一次 put() 会让未完成任务 +1 ，但是执行 get() 并不会让未完成任务 -1 ，需要使用 task_done() 让未完成任务 -1 ，否则 join 就无法判断。

3、方法示例

from queue import Queue

q=Queue(maxsize=2)
q.put("http://page1.html")
q.put("http://page2.html")
print("队列的大小为:",q.qsize())
print("队列是否已满:",q.full())
print("出队列元素:",q.get())
print("队列是否已满:",q.full())
print("出队列元素:",q.get())
print("队列是否为空:",q.empty())

4、队列阻塞

• 产生阻塞的3种方式：

  1. 入队(put)时的阻塞：当队列满了之后，put 就会阻塞，一直等待队列不再满时向里面添加数据。
  2. 出队(get)时的阻塞：当队列空了之后，get 就会阻塞，一直等待队列中有数据后再获取数据。
  3. 整体(join)的阻塞：即消费的阻塞，假如队列里设置了3个任务，但只调用了两次 task_done(标记两个任务已完成)，还有一个任务未处理，队列将阻塞至第三个任务被处理。

• 避免阻塞的3种方式：q.get(block=False)

  1. 设置block参数为False：q.get(block=False)
  2. 设置block参数为False，设置阻塞超时时间：q.get(block=False,timeout=2)
  3. 先判断队列是否为空：while not q.empty(): q.get()