我正在尝试使用spark's Pipe((运行R脚本将RDD供电到RScript。我正在使用sc.addfile((将RScript复制到执行者的内存。
sc.addFile(rScript) and using SparkFiles.get(rName) to get the file name.
在运行作业集群模式时，我要低于错误
Cannot run program "/data/tmp/spark-b8b8053e-0110-4ddb-91a3-
ae6f0f633c68/userFiles-78ed11c0-483b-4615-88eb-
8d1c97571997/RSCRIPT_NAME.R": error=2, No such file
or directory
但文件已复制到/data/tmp/spark b8053e-0110-4DDB-91A3- AE6F0F633C68/USERFILES-78ED11C0-483B-4615-88EB-- 8D1C97571997位置。
不确定如何解决此问题。
我认为您正在尝试执行它
rdd.pipe("scriptName.R")
请在调用脚本之前添加" ./"。
rdd.pipe("./scriptName.R")