Python 提供强大的线程功能，通过并发任务执行来增强应用程序性能。但是，不受控制的线程会导致资源争用和效率低下。本文探讨了使用 Python 中队列的有效线程技术，重点是防止常见陷阱并最大限度地提高性能。
目录
Python中的线程
Python 线程允许看似同时执行多个函数。这对于 I/O 绑定操作（网络请求、文件处理）特别有利，因为线程可以在等待外部资源时不会阻塞其他线程。但是，CPython 中的全局解释器锁 (GIL) 限制了 CPU 绑定任务的真正并行性；任何时候只有一个线程可以控制 Python 解释器。因此，线程的有效性主要体现在 I/O 绑定操作上。
考虑一下这个没有队列的简单线程示例：
import threading
import time
def worker(name):
print(f"线程 {name}: 开始")
time.sleep(2) # 模拟 I/O 绑定操作
print(f"线程 {name}: 完成")
threads = []
for i in range(5):
t = threading.Thread(target=worker, args=(i,))
threads.append(t)
t.start()
for t in threads:
t.join()
print("所有线程已完成")
这创建了五个线程，每个线程都运行worker函数。虽然功能齐全，但它缺乏对并发线程数的控制，可能会因大量任务而压垮系统。
使用队列管理线程
为了控制并发线程执行并防止资源耗尽，可以使用queue.Queue。队列充当缓冲区，管理线程池和处理之间的任务。线程不断检索任务，直到队列为空才停止处理。这种方法可以调节并发性并有效地管理资源。
这是一个使用queue.Queue的改进示例：
import threading
import time
import queue
def worker(q):
while True:
try:
item = q.get(True, 1) # 阻塞 1 秒，如果为空则引发异常
print(f"线程 {threading.current_thread().name}: 处理 {item}")
time.sleep(2) # 模拟 I/O 绑定操作
print(f"线程 {threading.current_thread().name}: 完成 {item}")
q.task_done()
except queue.Empty:
break
q = queue.Queue()
num_threads = 3 # 控制并发线程数
for i in range(10): # 任务数量
q.put(i)
threads = []
for i in range(num_threads):
t = threading.Thread(target=worker, args=(q,), daemon=True) # 守护线程在主线程退出时退出
threads.append(t)
t.start()
q.join() # 等待所有队列项目处理完成
print("所有任务已完成")
此示例使用queue.Queue来保存任务 (0-9)。只有三个线程并发运行，从队列中提取任务。q.join()确保主线程等待任务完成。daemon=True 使工作线程在主线程完成时退出，防止挂起。
选择正确的方法：线程与多进程
这种改进后的方法提供了更好的控制、资源管理和可扩展性。请记住，对于 CPU 绑定任务，由于 GIL 的限制，在 CPython 中，多进程（使用multiprocessing模块）通常比线程更高效。根据您的任务是 I/O 绑定还是 CPU 绑定来选择合适的方法。