Gevent:使用两个具有两个消费者的队列，而不会同时阻塞对方

Question

我有一个问题，我需要将消费者生成的值写入磁盘。我不想每次都打开一个文件的新实例来写入，所以我想使用第二个队列和另一个消费者从单个Greenlet写入磁盘。我的代码的问题是，第二个队列没有从第一个队列异步地被消耗。第一个队列首先完成，然后第二个队列被消耗。我想在写入值到磁盘的同时生成其他值。谢谢你的帮助!

#!/usr/bin/python
#- * -coding: utf-8 - * -
import gevent #pip install gevent
from gevent.queue import *
import gevent.monkey
from timeit import default_timer as timer
from time import sleep
import cPickle as pickle
gevent.monkey.patch_all()
def save_lineCount(count):
    with open("count.p", "wb") as f:
        pickle.dump(count, f)
def loader():
    for i in range(0,3):
        q.put(i)
def writer():
    while True:
        task = q_w.get()
        print "writing",task
        save_lineCount(task)
def worker():
    while not q.empty():
        task = q.get()
        if task%2:
            q_w.put(task)
            print "put",task
            sleep(10)
def asynchronous():
    threads = []
    threads.append(gevent.spawn(writer))
    for i in range(0, 1):
        threads.append(gevent.spawn(worker))
    start = timer()
    gevent.joinall(threads,raise_error=True)
    end = timer()
    #pbar.close()
    print "nnTime passed: " + str(end - start)[:6]

q = gevent.queue.Queue()
q_w = gevent.queue.Queue()
gevent.spawn(loader).join()
asynchronous()

Answer 1

一般来说，这种方法应该可以很好地工作。但是，这个特定的代码存在一些问题:

• 调用time.sleep将导致所有greenlet阻塞。为了只拥有一个greenlet块，您要么需要调用gevent.sleep，要么需要对进程进行猴子补丁(我看到gevent.monkey被导入，但没有调用patch_all)。

• 写入文件也是同步的，并导致所有greenlet阻塞。如果这是主要瓶颈，可以使用FileObjectThread。