Apache Livy 不适用于本地 jar 文件

Question

>我正在尝试使用 spark-submit 运行本地 jar 文件，该文件运行良好。这是命令-

spark-submit --class "SimpleApp" --master local myProject/target/scala-2.11/simple-project_2.11-1.0.jar

但是当我尝试卷曲时

curl -X POST --data '{
"file": "file:///home/user/myProject/target/scala-2.11/simple-project_2.11-1.0.jar",
"className": "SimpleApp",
}'  
-H 
"Content-Type: application/json" 
http://server:8998/batches

这是抛出错误

"requirement failed: Local path /home/user/myProject/target/scala-2.11/simple-project_2.11-1.0.jar cannot be added to user sessions."

这是我的 livy.conf 文件，因为一些文章建议改变一些东西。

# What host address to start the server on. By default, Livy will bind to all network interfaces.
livy.server.host = 0.0.0.0
# What port to start the server on.
livy.server.port = 8998
# What spark master Livy sessions should use.
livy.spark.master = local
# What spark deploy mode Livy sessions should use.
livy.spark.deploy-mode = client
# List of local directories from where files are allowed to be added to user sessions. By
# default it's empty, meaning users can only reference remote URIs when starting their
# sessions.
livy.file.local-dir-whitelist= /home/user/.livy-sessions/

请帮我解决这个问题。

提前谢谢。

Answer 1

我最近从 Apache Livy 获得了本地文件读取的解决方案，因为我使用 cURL 创建了错误的请求。我刚刚将文件读取协议从"file://"替换为"local：/"，这对我有用。

curl -X POST --data '{
"file": "local:/home/user/myProject/target/scala-2.11/simple-project_2.11-1.0.jar",
"className": "SimpleApp",
}'  
-H 
"Content-Type: application/json" 
http://server:8998/batches

这是一个很小的错误，但我的jar文件仍然无法从HDFS访问。

谢谢大家的帮助。

Answer 2

存在Apache Livyjar 文件是强制性要求。如果没有相应的 jar 文件，它将无法工作。

我的建议是下一步：只需使用java's cp option将livy jar文件附加到类路径中：

java -cp /usr/local/livy.jar com.myclass.Main

或者简单地使用 SBT：

libraryDependencies += "org.apache.livy" % "livy-api" % "0.4.0-incubating"

专家：

<dependency>
<groupId>org.apache.livy</groupId>
<artifactId>livy-api</artifactId>
<version>0.4.0-incubating</version>
</dependency>

或者您最喜欢的构建工具。

顺便说一句，您还可以将livy jar文件上传到HDFS并在Hadoop集群上使用它，它可以显着简化您的生活。

Answer 3

下面的答案对我有用，如这里所述 Apache Livy cURL 不适用于 spark-submit 命令

要将本地文件用于 livy 批处理作业，您需要将本地文件夹添加到 livy.conf 中的 livy.file.local-dir-whitelist 属性中。

来自 livy.conf.template 的描述：

允许从中将文件添加到用户会话的本地目录列表。默认情况下，它是空的，这意味着用户只能在启动会话时引用远程 URI。