如何使用AWS Elastic Beanstalk运行工作人员

我正在AWS Elastic Beanstalk上启动一个Django应用程序。我想运行一个后台任务或工作者，以便运行芹菜。

我不知道这是否可能。如果是，如何实现？

这是我现在正在做的事情，但每次都会产生一个事件类型的错误。

container_commands:
  01_syncdb:
    command: "django-admin.py syncdb --noinput"
    leader_only: true
  50_sqs_email:
    command: "./manage.py celery worker --loglevel=info"
    leader_only: true

正如@chris wheadon在他的评论中建议的那样，你应该试着在后台运行芹菜作为deamon。AWS Elastic Beanstalk已经使用supervisord来运行一些deamon进程。因此，您可以利用它来运行celeryd，并避免为此创建自定义AMI。对我来说效果很好。

我所做的是在EB将应用程序部署到实例后，通过程序将一个celeryd配置文件添加到实例中。棘手的部分是，该文件需要为deamon设置所需的环境变量（例如，如果您在应用程序中使用S3或其他服务，则为AWS访问密钥）。

下面是我使用的脚本的副本，请将此脚本添加到配置EB环境的.ebextensions文件夹中。

安装脚本在/opt/elasticbeanstalk/hooks/appdeploy/post/文件夹（文档）中创建一个文件，该文件存在于所有EB实例中。其中的任何shell脚本都将在部署后执行。放置在那里的shell脚本的工作原理如下：

在celeryenv变量中，病毒环境存储在遵循supervisorord表示法的格式。这是一个逗号env变量的分隔列表
然后脚本创建一个变量celeryconf，该变量包含配置文件作为字符串，其中包括以前解析的env变量
然后，该变量通过管道传输到一个名为celeryd.conf的文件中芹菜守护进程的supervisord配置文件
最后，新创建的配置文件的路径被添加到主supervisord.conf文件（如果它还没有）

这是脚本的副本：

files:
  "/opt/elasticbeanstalk/hooks/appdeploy/post/run_supervised_celeryd.sh":
    mode: "000755"
    owner: root
    group: root
    content: |
      #!/usr/bin/env bash
      # Get django environment variables
      celeryenv=`cat /opt/python/current/env | tr 'n' ',' | sed 's/export //g' | sed 's/$PATH/%(ENV_PATH)s/g' | sed 's/$PYTHONPATH//g' | sed 's/$LD_LIBRARY_PATH//g'`
      celeryenv=${celeryenv%?}
      # Create celery configuraiton script
      celeryconf="[program:celeryd]
      ; Set full path to celery program if using virtualenv
      command=/opt/python/run/venv/bin/celery worker -A myappname --loglevel=INFO
      directory=/opt/python/current/app
      user=nobody
      numprocs=1
      stdout_logfile=/var/log/celery-worker.log
      stderr_logfile=/var/log/celery-worker.log
      autostart=true
      autorestart=true
      startsecs=10
      ; Need to wait for currently executing tasks to finish at shutdown.
      ; Increase this if you have very long running tasks.
      stopwaitsecs = 600
      ; When resorting to send SIGKILL to the program to terminate it
      ; send SIGKILL to its whole process group instead,
      ; taking care of its children as well.
      killasgroup=true
      ; if rabbitmq is supervised, set its priority higher
      ; so it starts first
      priority=998
      environment=$celeryenv"
      # Create the celery supervisord conf script
      echo "$celeryconf" | tee /opt/python/etc/celery.conf
      # Add configuration script to supervisord conf (if not there already)
      if ! grep -Fxq "[include]" /opt/python/etc/supervisord.conf
          then
          echo "[include]" | tee -a /opt/python/etc/supervisord.conf
          echo "files: celery.conf" | tee -a /opt/python/etc/supervisord.conf
      fi
      # Reread the supervisord config
      supervisorctl -c /opt/python/etc/supervisord.conf reread
      # Update supervisord in cache without restarting all services
      supervisorctl -c /opt/python/etc/supervisord.conf update
      # Start/Restart celeryd through supervisord
      supervisorctl -c /opt/python/etc/supervisord.conf restart celeryd

我试图在PHP中做一些类似的事情，但无论出于什么原因，我都无法保持工作程序的运行。我切换到EC2服务器上的AMI，从那以后就取得了成功。

对于那些使用带有Rails&Sidekiq。以下是一组最终对我有用的扩展：

https://gist.github.com/ctrlaltdylan/f75b2e38bbbf725acb6d48283fc2f174

相关内容

最新更新

热门标签：