Django和Celery:无法pickle任务

Question

提前感谢：）

我有一个异步Celery任务调用：

update_solr.delay(id, context)

其中id是整数，context是Python dict。

我的任务定义如下：

@task
def update_solr(id, context):
    clip = Clip.objects.get(pk=id)
    clip_serializer = SOLRClipSerializer(clip, context=context)
    response = requests.post(url, data=clip_serializer.data)

其中CCD_ 1是dict并且CCD_ 2是表示url的字符串。

当我尝试调用update_solr.delay()时，我会收到以下错误：

PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

任务的两个参数都不是实例方法，所以我很困惑。

当任务代码同步运行时，没有错误。

更新：修复了每个评论传递pk而不是对象的问题

Answer 1

context dict中有一个对象，我不知道…

为了解决这个问题，我在异步调用之前执行了依赖于context的代码，并只传递了一个只有本机类型的dict：

def post_save(self, obj, created=False):
    context = self.get_serializer_context()
    clip_serializer = SolrClipSerializer(obj, context=context)
    update_solr.delay(clip_serializer.data)

任务最终是这样的：

@task
def update_solr(data):
    response = requests.post(url, data=data)

这样做非常好，因为将其作为异步任务的唯一目的是使POST不阻塞。

谢谢你的帮助！

Answer 2

尝试传递模型实例主键（pk）。这更简单，减少了有效载荷，避免了比赛条件。

Answer 3

import pickle
class X:
    def y(self):
        pass
pickle.dumps(X.y)

Pickle以递归方式工作，因此它可能位于对象图中的任何位置。您得到的解决方案是只传输最小对象，即主键等，而不是Django模型对象。