使用多线程和队列时自动退出无限循环

Question

我试图运行一个函数，有一个无限循环(检查数据几秒钟后延迟)使用多线程。因为我从csv文件中读取数据，所以我也使用队列。

当我不使用多线程/队列时，我当前的函数很好，但是当我使用它们时，函数只循环一次，然后停止。

我的函数有一个无限循环。请注意，第一个while True循环是针对线程的(如果我使用的线程数少于csv中的行数)，该函数只需要第二个while True循环。

def doWork(q):
    while True:
        #logging.info('Thread Started')
        row=q.get()
        url = row[0]
        target_price = row[1]
        #logging.info('line 79')
        while True:
            delay=randint(5,10)
            headers = {'User-Agent': generate_user_agent()}
            print datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S')+': '+'Sleeping for ' + str(delay) + ' seconds'
            #logging.info('line 81')
            eventlet.sleep(delay)
            try:
                #logging.info('line 85')
                with requests.Session() as s:
                    #logging.info('line 87')
                    with eventlet.Timeout(10, False):
                        page = s.get(url,headers=headers,proxies=proxyDict,verify=False)
                    #logging.info('line 89')
                    tree = html.fromstring(page.content)
                    #logging.info('line 91')
                    price = tree.xpath('//div[@class="a-row a-spacing-mini olpOffer"]/div[@class="a-column a-span2 olpPriceColumn"]/span[@class="a-size-large a-color-price olpOfferPrice a-text-bold"]/text()')[0]
                    title = tree.xpath('//h1/text()')[0]
                    #logging.info('line 93')
                    new_price = re.findall("[-+]?d+[.]?d+[eE]?[-+]?d*", price)[0]
                    #logging.info('line 95')
                    old_price = new_price
                    #logging.info('line 97')
                    #print price
                    print new_price
                    print title + 'Current price:' + new_price
                    if float(new_price)<float(target_price):
                        print 'Lower price found!'
                        mydriver = webdriver.Chrome()
                        send_simple_message()
                        login(mydriver)
                        print 'Old Price: ' + old_price
                        print 'New Price: ' + new_price
                    else:
                        print 'Trying again'
                q.task_done()   
            except Exception as e:
                print e
                print 'Error!'
                q.task_done()

这是我的线程驱动函数;

q = Queue(concurrent * 2)
if __name__ == "__main__":
    for i in range(concurrent):
        t = Thread(target=doWork,args=(q,))
        t.daemon = True
        t.start()
    try:
        with open('products.csv','r') as f:
            reader = csv.reader(f.read().splitlines())
            for row in reader:
                q.put((row[0],row[1]))
        q.join()
    except KeyboardInterrupt:
        sys.exit(1) 

Answer 1

对于任何面临同样问题的人，以下是我的解决方法。

我从while循环中删除了q.task_done()，并将其放在while循环之外。这是按预期工作，但我不确定这是否是正确的方法。