无法在集群上运行Python Flink应用程序

Question

我正在尝试在独立的 flink cluster上运行 Python Flink应用程序。该应用程序在单个节点群集上正常工作，但在多节点群集上抛出以下错误。java.lang.Exception: The user defined 'open()' method caused an exception: An error occurred while copying the file。请帮助我解决这个问题。谢谢你

我要执行的应用程序具有以下代码。

from flink.plan.Environment import get_environment
from flink.plan.Constants import INT, STRING, WriteMode
env = get_environment()
data = env.from_elements("Hello")
data.map(lambda x: list(x)).output()
env.execute()

Answer 1

您必须在" flink-conf.yaml"中配置" python.dc.tmp.dir"才能指向分布式文件系统(例如HDFS(。该目录用于分发Python脚本。