EKS上的EMR:如何检索托管在EKS上的EMR集群的主URL,以创建spark上下文并使用spark上下文运行作业.&



在我们的应用程序中,我们使用spark master创建单个spark上下文,并使用该上下文执行多个spark作业。同样的,我们也在研究电子病历对EKS的影响。是否有办法执行它,或者它支持这种方式,或者EMR仅可用于提交作业。

当然,EKS上的EMR与EMR不一样。在创建时,它被称为"虚拟集群"。-因为在运行作业之前,它实际上什么都没有。因此,在EKS上无法检索EMR的主URL。要运行一个作业,它不像EMR那样使用YARN,而是使用Kubernetes——如果你运行一个执行spark-submit的作业到Kubernetes集群也是一样,只是它使用自己的映像作为驱动程序&执行人。也没有HDFS。

如果你想要一个"continuous"驱动程序,创建一个如果无事可做就不会完成的作业,并以某种方式向它发送新数据。

相关内容

  • 没有找到相关文章

最新更新