使用 Java API 调用 Kubernetes Spark Operator

Question

有很多很好的例子，使用 Kubernetes Spark Operator 创建 Spark 作业，只需提交如下请求

kubectl apply -f spark-pi.yaml

spark-pi.yaml 可以在 这里

有谁知道使用 Java K8s API 提交此类作业的最简单方法？

Answer 1

我建议研究一下Apache Spark在K8s中使用的Fabric8 K8s客户端或官方Java K8s客户端。使用这些库，您可以使用代码提交 K8s 资源。

Answer 2

我已经编写了一个应用程序来向 Kubernetes 提交 Spark 作业，您只需要传递 Config Map(应用程序的键值对(

你可以在github的类RunSparkJobInKube(jobConfiguration: Map[String,String])下找到相同的内容

这可能有助于您提供满足您需求的想法。

虽然这是Scala，但你可以在Java内部调用普通方法。

在此应用程序中，我已经与IAM(特定于AWS(集成，以防您对安全性感兴趣。

Answer 3

我已经生成了 Spark 运算符 Java 客户端，用于将 Spark 作业提交给 Kubernetes。我正在分享存储库客户端-java-spark-operator 的 Github URL