我写了一个Flink作业,它从Kafka读取数据,并以ORC格式为HIVE写入hdfs文件(使用20个执行器(。我需要运行一个简单的作业,每小时将分区插入HIVE表。有可能在作业管理器中运行这个简单的分区添加作业吗?
工作经理只起到协调/监督的作用。您必须至少有一个任务管理器。
然而,要运行一个简单的作业,您可以使用";"迷你集群";它与客户端/应用程序完全在同一JVM中运行。您想要的是由创建的LocalStreamEnvironment
final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
或LocalEnvironment,如果您正在使用数据集(批处理(API:
ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();