我在本地系统中有一个文件。我想在本地使用Spark读取它,然后使用相同的Spark程序在HDFS中编写它有可能吗?
Client Mode
如果您在客户端模式下运行spark,您的驱动程序将在本地系统中运行,因此它可以轻松访问您的本地文件&写入HDFS。
在这种模式下,要访问您的本地文件,请尝试在file://<local_path_file>
之后附加您的路径
Cluster Mode
如果您在集群模式下运行spark,您的驱动程序将从其中一个工作程序启动,因此您无法在集群模式中访问本地文件。
spark.read.text("file:///tmp/srinivas/hive.log") // To access local files, without file:// It will search in HDFS location.