Django+Celery+Apache mod_wsgi+Postgres+RabbitMQ应用程序，适用于多个客户端

我有一个Django应用程序，它使用Celery、RabbitMQ和Apache mod_wsgi。目前全部在一台服务器上。每个客户端都有自己的URL装载，例如：

www.example.com/Client001

www.example.com/Client002

www.example.com/Client003

每个客户端都有自己的数据库和项目目录，它们的Django设置使用local_setting.py。

我正在使用supervisord为每个客户管理芹菜工人+芹菜节拍。

随着我的客户越来越多，维护也越来越耗时。

我已经开始使用Docker来尝试简化部署，并可能跨多个主机进行扩展。

虽然设置Docker Compose为一个客户端运行一组服务很容易，但我正在努力为多个客户端找出易于管理的最佳方法，例如快速设置安装在主URL下的新客户端。

我认为Postgres数据库实例应该是共享的，以容纳每个客户端数据库，就像现在一样。并且有一个共享的NGIX实例来处理HTTP端。对于每个客户端，使用一个Kubernetes Pod，其中包括：

Gunicorn处理Django
芹菜节拍
芹菜工人
用于静态文件的轻量级HTTP服务器

所以问题是，这是一个好方法，还是有更好的方法来处理这个问题？

我还想知道我是否应该为每个客户构建一个映像，因为这可能更容易管理？

欢迎任何建议。

我的建议是保持一个代码库和一个服务器运行(或者同一Django应用程序的多个服务器，而不基于客户端进行任何自定义(。主要原因是维护更容易。您不希望为了向多个客户端提供一个功能而多次进行更改。

由于您已经有了一个Django应用程序，我认为最好利用该代码来适应上面给出的方法，只需对代码进行最小的更改。也就是说，您需要一些方法来处理连接到多个DB的多个客户端。我建议使用中间件和数据库路由器。如下所示：(基于此代码段的代码(。

import threading
request_cfg = threading.local()
class RouterMiddleware (object):
def process_view( self, request, view_func, args, kwargs ):
if 'client' in kwargs:
request_cfg.client = kwargs['client']
request.client = client 
# Here, we are adding client info with request object.
# It will make the implementation bit easier because
# then you can access client information anywhere in the view/template.
def process_response( self, request, response ):
if hasattr( request_cfg, 'client' ):
del request_cfg.client
return response
class DatabaseRouter (object):
def _default_db( self ):
from django.conf import settings
if hasattr( request_cfg, 'client' ) and request_cfg.client in settings.DATABASES:
return request_cfg.client            
else:
return None
def db_for_read( self, model, **hints ):
return self._default_db()
def db_for_write( self, model, **hints ):
return self._default_db()

然后将它们添加到settings.py:

DATABASES = {
'default': {
'NAME': 'user',
'ENGINE': 'django.db.backends.postgresql',
'USER': 'postgres_user',
'PASSWORD': 's3krit'
},
'client1': {
'NAME': 'client1',
'ENGINE': 'django.db.backends.postgresql',
'USER': 'postgres_user',
'PASSWORD': 's3krit'
},
'client2': {
'NAME': 'client2',
'ENGINE': 'django.db.backends.postgresql',
'USER': '_user',
'PASSWORD': 'priv4te'
}
}
DATABASE_ROUTERS = [
'path.to.DatabaseRouter', 
]
MIDDLEWARE = [
# middlewares
'path.to.RouterMiddleware'
]

最后更新urls.py:

urlpatterns = [
path('<str:client>/admin/', admin.site.urls),
path('<str:client>/', include('client_app.urls')),
# and so on
]

这种方法的优点是，您不必为新客户端配置任何内容，只需在设置中添加一个新数据库，并按照文档中的说明运行迁移即可。无需配置反向代理服务器或其他任何东西。

现在，当涉及到在芹菜中处理任务时，您可以提供将使用哪个数据库来运行查询(对文档的引用(。这里有一个例子：

@app.task
def some_task():
logger.info("-"*25)
for db_name in settings.DATABASES.keys():
Model.objects.using(db_name).filter(some_condition=True)
logger.info("-"*25)

处理客户端有三种方法：

独立方法：独立数据库。每个租户都有自己的数据库
半独立方法：共享数据库，独立模式。一个数据库用于所有租户，但每个租户有一个架构
共享方法：共享数据库，共享模式。所有租户共享相同的数据库和架构。有一个主租户表，所有其他表都有一个指向的外键

django-tenents包使用第二种方法，并为客户端(如client1.example.com、client2.example.com等(提供子域。

我使用了django-tenants第三个，为我创建的每个model添加了一个Company模型外键。

django-tenant有帮助，但在postgres中有不同的模式；具有较少的开销集成。

添加Company必须在每个模型中实现，如果您使用基于类的视图，则应该使用中间件或mixin来处理。

相关内容

最新更新

热门标签：