在客户端部署模式下,火花驱动程序需要能够从Spark执行者接收传入的TCP连接。但是,如果火花驱动程序在NAT后面,它将无法接收到传入的连接。在纱线群集部署模式下运行火花驱动器是否会克服在NAT后面的限制,因为然后显然在Spark Master上执行了火花驱动程序?
在纱线群集部署模式下运行火花驱动器会克服这种限制在NAT后面,因为然后在Spark Master上显然执行了Spark驱动程序?
是的,它将。另一种可能的方法是配置:
-
spark.driver.port
-
spark.driver.bindAddress
并将SSH隧道创建为一个节点。