Flask:传递后台工作者工作(rq，redis)

Question

我想做一件非常简单的事情：启动一个worker到某个东西，然后将答案返回给用户。我尝试使用Flask和RQ的组合来做到这一点。

import os
from flask import Flask, session
from somewhere import do_something
from rq import Queue
from worker import conn
app = Flask(__name__)
app.debug = True
app.secret_key = '....'
q = Queue(connection=conn)
@app.route('/make/')
def make():
    job = q.enqueue(do_something, 'argument')
    session['job'] = job
    return 'Done'
@app.route('/get/')
def get():
    try:
        session['job'].refresh()
        out = str(session['job'].result)
    except:
        out = 'No result yet'
    return out

这个非常简单的例子中的想法是，人们去做/然后工作就开始了。一段时间后，可以转到/get/，工人的结果将打印在那里。

然而，有一条线引起了问题：

session['job'] = job

这项工作似乎无法腌制，这显然是Flaks会议使用的。我得到错误：

...
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/lib/python2.7/site-packages/flask/app.py", line 804, in save_session
10:52:16 web.1     |     return self.session_interface.save_session(self, session, response)
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/lib/python2.7/site-packages/flask/sessions.py", line 205, in save_session
10:52:16 web.1     |     secure=secure, domain=domain)
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/lib/python2.7/site-packages/werkzeug/contrib/securecookie.py", line 329, in save_cookie
10:52:16 web.1     |     data = self.serialize(session_expires or expires)
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/lib/python2.7/site-packages/werkzeug/contrib/securecookie.py", line 235, in serialize
10:52:16 web.1     |     self.quote(value)
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/lib/python2.7/site-packages/werkzeug/contrib/securecookie.py", line 192, in quote
10:52:16 web.1     |     value = cls.serialization_method.dumps(value)
10:52:16 web.1     |   File "/Users/julius/twitter-sentiment/venv/bin/../lib/python2.7/copy_reg.py", line 70, in _reduce_ex
10:52:16 web.1     |     raise TypeError, "can't pickle %s objects" % base.__name__
10:52:16 web.1     | TypeError: can't pickle function objects

我真的希望能有所帮助。我这样做的方式可能完全错误（通过会话传递作业），但我不知道如何访问作业的结果。。。

如有任何帮助，我们将不胜感激。

提前谢谢。

Answer 1

我以前没有使用过rq，但我发现作业具有.key属性。将该散列存储在会话中可能会更容易。然后，您可以使用Job类的.fetch方法，该方法本身将调用.refresh()并将作业返回给您。此时读取.result()将显示作业的当前状态。

也许是这样（未经测试）：

from rq.job import Job
@app.route('/make/')
def make():
    job = q.enqueue(do_something, 'argument')
    session['job'] = job.key
    return 'Done'
@app.route('/get/')
def get():
    try:
        job = Job()
        job.fetch(session['job'])
        out = str(job.result)
    except:
        out = 'No result yet'
    return out

Answer 2

序列化参数的问题（您实际上试图序列化函数对象，这在pickle中是不可能的）。

尝试

@app.route('/make/')
def make():
    job = q.enqueue(func=do_something, args=('argument',))
    session['job'] = job
    return 'Done'