Kubernetes编排取决于行/记录/输入文件的数量

Question

要求根据源系统中存在的记录数量(SQL/Google Analytics/SAAS/CSV文件(编排ETL容器。

举一个用例来解释：-ETL作业必须处理SQL server中存在的50 K条记录，但是，由一个服务器/节点执行此作业需要很长的处理时间，因为该服务器与SQL建立连接，获取数据并处理记录。

现在的问题是如何在Kubernetes中协调这个ETL作业，以便它根据记录/输入的数量来放大/缩小容器。就像上面讨论的情况一样，如果有50万条记录要并行处理，那么它应该放大容器处理记录并缩小。

Answer 1

您通常会使用某种队列和Horizontal Pod Autoscaler(HPA(来观察队列大小并自动调整队列使用者副本。具体取决于您使用的确切工具。