使用纱线群集模式在NAT后面发生Spark应用程序



在客户端部署模式下,火花驱动程序需要能够从Spark执行者接收传入的TCP连接。但是,如果火花驱动程序在NAT后面,它将无法接收到传入的连接。在纱线群集部署模式下运行火花驱动器是否会克服在NAT后面的限制,因为然后显然在Spark Master上执行了火花驱动程序?

在纱线群集部署模式下运行火花驱动器会克服这种限制在NAT后面,因为然后在Spark Master上显然执行了Spark驱动程序?

是的,它将。另一种可能的方法是配置:

  • spark.driver.port
  • spark.driver.bindAddress

并将SSH隧道创建为一个节点。

相关内容

  • 没有找到相关文章

最新更新