收到芹菜任务但未执行

我收到了芹菜任务，但不会执行。我正在使用Python 2.7和Celery 4.0.2。我的消息代理是 Amazon SQS。

这是celery worker的输出：

$ celery worker -A myapp.celeryapp --loglevel=INFO
[tasks]
  . myapp.tasks.trigger_build
[2017-01-12 23:34:25,206: INFO/MainProcess] Connected to sqs://13245:**@localhost//
[2017-01-12 23:34:25,391: INFO/MainProcess] celery@ip-111-11-11-11 ready.
[2017-01-12 23:34:27,700: INFO/MainProcess] Received task: myapp.tasks.trigger_build[b248771c-6dd5-469d-bc53-eaf63c4f6b60]

我尝试在运行celery worker时添加-Ofair但没有帮助。其他一些可能有用的信息：

芹菜总是收到 8 个任务，尽管大约有 100 条消息等待接收。
大约每 4 或 5 次任务就会运行并完成一次，但随后它又卡住了。
这是ps aux的结果。请注意，它在 3 个不同的进程中运行芹菜（不知道为什么），其中一个进程的 CPU 利用率为 99.6%，即使它没有完成任何任务或任何东西。

过程：

$ ps aux | grep celery
nobody    7034 99.6  1.8 382688 74048 ?        R    05:22  18:19 python2.7 celery worker -A myapp.celeryapp --loglevel=INFO
nobody    7039  0.0  1.3 246672 55664 ?        S    05:22   0:00 python2.7 celery worker -A myapp.celeryapp --loglevel=INFO
nobody    7040  0.0  1.3 246672 55632 ?        S    05:22   0:00 python2.7 celery worker -A myapp.celeryapp --loglevel=INFO

设置：

CELERY_BROKER_URL = 'sqs://%s:%s@' % (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY.replace('/', '%2F'))
CELERY_BROKER_TRANSPORT = 'sqs'
CELERY_BROKER_TRANSPORT_OPTIONS = {
    'region': 'us-east-1',
    'visibility_timeout': 60 * 30,
    'polling_interval': 0.3,
    'queue_name_prefix': 'myapp-',
}
CELERY_BROKER_HEARTBEAT = 0
CELERY_BROKER_POOL_LIMIT = 1
CELERY_BROKER_CONNECTION_TIMEOUT = 10
CELERY_DEFAULT_QUEUE = 'myapp'
CELERY_QUEUES = (
    Queue('myapp', Exchange('default'), routing_key='default'),
)
CELERY_ALWAYS_EAGER = False
CELERY_ACKS_LATE = True
CELERY_TASK_PUBLISH_RETRY = True
CELERY_DISABLE_RATE_LIMITS = False
CELERY_IGNORE_RESULT = True
CELERY_SEND_TASK_ERROR_EMAILS = False
CELERY_TASK_RESULT_EXPIRES = 600
CELERY_RESULT_BACKEND = 'django-db'
CELERY_TIMEZONE = TIME_ZONE
CELERY_TASK_SERIALIZER = 'json'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERYD_PID_FILE = "/var/celery_%N.pid"
CELERYD_HIJACK_ROOT_LOGGER = False
CELERYD_PREFETCH_MULTIPLIER = 1
CELERYD_MAX_TASKS_PER_CHILD = 1000

报告：

$ celery report -A myapp.celeryapp
software -> celery:4.0.2 (latentcall) kombu:4.0.2 py:2.7.12
            billiard:3.5.0.2 sqs:N/A
platform -> system:Linux arch:64bit, ELF imp:CPython
loader   -> celery.loaders.app.AppLoader
settings -> transport:sqs results:django-db

第一次安装事件，


> pip install eventlet

然后运行


> celery -A myapp.celeryapp worker --loglevel=info -P eventlet

我认为您正在Windows中运行Celery，请尝试在cmd中添加以下参数：

-P solo

所以新参数将是：

-A main worker --loglevel=info --queues=your_queue_name -P solo

我也遇到了同样的问题。经过一点搜索，我找到了将--without-gossip --without-mingle --without-heartbeat -Ofair添加到 Celery worker 命令行的解决方案。所以在您的情况下，您的工作线程命令应该是 celery worker -A myapp.celeryapp --loglevel=INFO --without-gossip --without-mingle --without-heartbeat -Ofair

禁用工人八卦（ --without-gossip ）足以在 Celery 3.1 上为我解决这个问题。看起来一个错误会导致启用CELERY_ACKS_LATE时此工作间通信挂起。任务确实被接收，但从未被确认或执行。停止工作线程会将他们返回到队列中。

来自八卦文档：

这意味着工人知道其他工人在做什么，并且可以检测它们是否脱机。目前这仅用于时钟同步，但将来添加的可能性很大你可以编写利用这一点的扩展。

因此，您可能无论如何都没有使用此功能，而且它会增加经纪人的负载。

没有时间调查，但最好用最新的 Celery 对此进行测试，如果仍然出现问题，请打开问题。即使这种行为是预期/不可避免的，也应该记录下来。

我有同样的问题。毗湿奴的回答对我有用。也许还有另一种解决方案不需要将这些额外的参数添加到工作线程命令中。

我的问题是由在任务代码中间导入其他模块引起的。当您启动工作线程时，芹菜似乎会获取所有使用的模块，并且它只查看.py文件的开头。在运行过程中，它不会引发任何错误，只是退出。在我移动所有"导入"和"从...进口..."到代码文件的开头，它有效。

芹菜 -核心工人 --loglevel=INFO --没有八卦 --没有混合 --

没有心跳 --奥费尔 --池=独奏

相关内容

最新更新

热门标签：