有可能在Flink的job Manager中运行一个简单的作业吗



我写了一个Flink作业,它从Kafka读取数据,并以ORC格式为HIVE写入hdfs文件(使用20个执行器(。我需要运行一个简单的作业,每小时将分区插入HIVE表。有可能在作业管理器中运行这个简单的分区添加作业吗?

工作经理只起到协调/监督的作用。您必须至少有一个任务管理器。

然而,要运行一个简单的作业,您可以使用";"迷你集群";它与客户端/应用程序完全在同一JVM中运行。您想要的是由创建的LocalStreamEnvironment

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();

或LocalEnvironment,如果您正在使用数据集(批处理(API:

ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();

相关内容

  • 没有找到相关文章

最新更新