← Back to branch summary

~dkuhlman/python-training-materials/Materials

« back to all changes in this revision

Viewing changes to python-2.7.11-docs-html/_sources/library/queue.txt

  • Committer: Dave Kuhlman
  • Date: 2017-04-15 16:24:56 UTC
  • Revision ID: dkuhlman@davekuhlman.org-20170415162456-iav9vozzg4iwqwv3
Updated docs

Show diffs side-by-side

added added

removed removed

Lines of Context:
python-2.7.11-docs-html/_sources/library/queue.txt
1
 
:mod:`Queue` --- A synchronized queue class
2
 
===========================================
3
 
 
4
 
.. module:: Queue
5
 
   :synopsis: A synchronized queue class.
6
 
 
7
 
.. note::
8
 
   The :mod:`Queue` module has been renamed to :mod:`queue` in Python 3.  The
9
 
   :term:`2to3` tool will automatically adapt imports when converting your
10
 
   sources to Python 3.
11
 
 
12
 
**Source code:** :source:`Lib/Queue.py`
13
 
 
14
 
--------------
15
 
 
16
 
The :mod:`Queue` module implements multi-producer, multi-consumer queues.
17
 
It is especially useful in threaded programming when information must be
18
 
exchanged safely between multiple threads.  The :class:`Queue` class in this
19
 
module implements all the required locking semantics.  It depends on the
20
 
availability of thread support in Python; see the :mod:`threading`
21
 
module.
22
 
 
23
 
The module implements three types of queue, which differ only in the order in
24
 
which the entries are retrieved.  In a FIFO queue, the first tasks added are
25
 
the first retrieved. In a LIFO queue, the most recently added entry is
26
 
the first retrieved (operating like a stack).  With a priority queue,
27
 
the entries are kept sorted (using the :mod:`heapq` module) and the
28
 
lowest valued entry is retrieved first.
29
 
 
30
 
The :mod:`Queue` module defines the following classes and exceptions:
31
 
 
32
 
.. class:: Queue(maxsize=0)
33
 
 
34
 
   Constructor for a FIFO queue.  *maxsize* is an integer that sets the upperbound
35
 
   limit on the number of items that can be placed in the queue.  Insertion will
36
 
   block once this size has been reached, until queue items are consumed.  If
37
 
   *maxsize* is less than or equal to zero, the queue size is infinite.
38
 
 
39
 
.. class:: LifoQueue(maxsize=0)
40
 
 
41
 
   Constructor for a LIFO queue.  *maxsize* is an integer that sets the upperbound
42
 
   limit on the number of items that can be placed in the queue.  Insertion will
43
 
   block once this size has been reached, until queue items are consumed.  If
44
 
   *maxsize* is less than or equal to zero, the queue size is infinite.
45
 
 
46
 
   .. versionadded:: 2.6
47
 
 
48
 
.. class:: PriorityQueue(maxsize=0)
49
 
 
50
 
   Constructor for a priority queue.  *maxsize* is an integer that sets the upperbound
51
 
   limit on the number of items that can be placed in the queue.  Insertion will
52
 
   block once this size has been reached, until queue items are consumed.  If
53
 
   *maxsize* is less than or equal to zero, the queue size is infinite.
54
 
 
55
 
   The lowest valued entries are retrieved first (the lowest valued entry is the
56
 
   one returned by ``sorted(list(entries))[0]``).  A typical pattern for entries
57
 
   is a tuple in the form: ``(priority_number, data)``.
58
 
 
59
 
   .. versionadded:: 2.6
60
 
 
61
 
.. exception:: Empty
62
 
 
63
 
   Exception raised when non-blocking :meth:`~Queue.get` (or
64
 
   :meth:`~Queue.get_nowait`) is called
65
 
   on a :class:`Queue` object which is empty.
66
 
 
67
 
 
68
 
.. exception:: Full
69
 
 
70
 
   Exception raised when non-blocking :meth:`~Queue.put` (or
71
 
   :meth:`~Queue.put_nowait`) is called
72
 
   on a :class:`Queue` object which is full.
73
 
 
74
 
.. seealso::
75
 
 
76
 
   :class:`collections.deque` is an alternative implementation of unbounded
77
 
   queues with fast atomic :func:`append` and :func:`popleft` operations that
78
 
   do not require locking.
79
 
 
80
 
 
81
 
.. _queueobjects:
82
 
 
83
 
Queue Objects
84
 
-------------
85
 
 
86
 
Queue objects (:class:`Queue`, :class:`LifoQueue`, or :class:`PriorityQueue`)
87
 
provide the public methods described below.
88
 
 
89
 
 
90
 
.. method:: Queue.qsize()
91
 
 
92
 
   Return the approximate size of the queue.  Note, qsize() > 0 doesn't
93
 
   guarantee that a subsequent get() will not block, nor will qsize() < maxsize
94
 
   guarantee that put() will not block.
95
 
 
96
 
 
97
 
.. method:: Queue.empty()
98
 
 
99
 
   Return ``True`` if the queue is empty, ``False`` otherwise.  If empty()
100
 
   returns ``True`` it doesn't guarantee that a subsequent call to put()
101
 
   will not block.  Similarly, if empty() returns ``False`` it doesn't
102
 
   guarantee that a subsequent call to get() will not block.
103
 
 
104
 
 
105
 
.. method:: Queue.full()
106
 
 
107
 
   Return ``True`` if the queue is full, ``False`` otherwise.  If full()
108
 
   returns ``True`` it doesn't guarantee that a subsequent call to get()
109
 
   will not block.  Similarly, if full() returns ``False`` it doesn't
110
 
   guarantee that a subsequent call to put() will not block.
111
 
 
112
 
 
113
 
.. method:: Queue.put(item[, block[, timeout]])
114
 
 
115
 
   Put *item* into the queue. If optional args *block* is true and *timeout* is
116
 
   None (the default), block if necessary until a free slot is available. If
117
 
   *timeout* is a positive number, it blocks at most *timeout* seconds and raises
118
 
   the :exc:`Full` exception if no free slot was available within that time.
119
 
   Otherwise (*block* is false), put an item on the queue if a free slot is
120
 
   immediately available, else raise the :exc:`Full` exception (*timeout* is
121
 
   ignored in that case).
122
 
 
123
 
   .. versionadded:: 2.3
124
 
      The *timeout* parameter.
125
 
 
126
 
 
127
 
.. method:: Queue.put_nowait(item)
128
 
 
129
 
   Equivalent to ``put(item, False)``.
130
 
 
131
 
 
132
 
.. method:: Queue.get([block[, timeout]])
133
 
 
134
 
   Remove and return an item from the queue. If optional args *block* is true and
135
 
   *timeout* is None (the default), block if necessary until an item is available.
136
 
   If *timeout* is a positive number, it blocks at most *timeout* seconds and
137
 
   raises the :exc:`Empty` exception if no item was available within that time.
138
 
   Otherwise (*block* is false), return an item if one is immediately available,
139
 
   else raise the :exc:`Empty` exception (*timeout* is ignored in that case).
140
 
 
141
 
   .. versionadded:: 2.3
142
 
      The *timeout* parameter.
143
 
 
144
 
 
145
 
.. method:: Queue.get_nowait()
146
 
 
147
 
   Equivalent to ``get(False)``.
148
 
 
149
 
Two methods are offered to support tracking whether enqueued tasks have been
150
 
fully processed by daemon consumer threads.
151
 
 
152
 
 
153
 
.. method:: Queue.task_done()
154
 
 
155
 
   Indicate that a formerly enqueued task is complete.  Used by queue consumer
156
 
   threads.  For each :meth:`get` used to fetch a task, a subsequent call to
157
 
   :meth:`task_done` tells the queue that the processing on the task is complete.
158
 
 
159
 
   If a :meth:`join` is currently blocking, it will resume when all items have been
160
 
   processed (meaning that a :meth:`task_done` call was received for every item
161
 
   that had been :meth:`put` into the queue).
162
 
 
163
 
   Raises a :exc:`ValueError` if called more times than there were items placed in
164
 
   the queue.
165
 
 
166
 
   .. versionadded:: 2.5
167
 
 
168
 
 
169
 
.. method:: Queue.join()
170
 
 
171
 
   Blocks until all items in the queue have been gotten and processed.
172
 
 
173
 
   The count of unfinished tasks goes up whenever an item is added to the queue.
174
 
   The count goes down whenever a consumer thread calls :meth:`task_done` to
175
 
   indicate that the item was retrieved and all work on it is complete. When the
176
 
   count of unfinished tasks drops to zero, :meth:`join` unblocks.
177
 
 
178
 
   .. versionadded:: 2.5
179
 
 
180
 
Example of how to wait for enqueued tasks to be completed::
181
 
 
182
 
   def worker():
183
 
       while True:
184
 
           item = q.get()
185
 
           do_work(item)
186
 
           q.task_done()
187
 
 
188
 
   q = Queue()
189
 
   for i in range(num_worker_threads):
190
 
        t = Thread(target=worker)
191
 
        t.daemon = True
192
 
        t.start()
193
 
 
194
 
   for item in source():
195
 
       q.put(item)
196
 
 
197
 
   q.join()       # block until all tasks are done
198