在初始化sparkR时出现错误:JVM在10秒后没有准备好

Question

我目前正在使用sparkR测试一个应用程序。这就是我的平台& &;应用程序的细节:

平台:Windows server 2008 SparkR版本:R版本3.1.2(2014-10-31) Spark版本:version 1.4.1

我做了什么?

步骤1:加载到R环境

library(SparkR)—Working

步骤二:设置系统环境变量

系统。setenv(SPARK_HOME = "C:hdpspark-1.4.1-bin-hadoop2.6")——libpaths (c(file.path(Sys.getenv("SPARK_HOME")， "R"，"自由"),.libPaths ()))

第三步:创建spark上下文和SQL上下文

sc <- sparkR;init(master = "local"，sparkHome ="C: 黄芪丹参滴丸 spark-1.4.1-bin-hadoop2.6",浏览器名称="TestSparR")

在这行出现错误，即JVM在10秒后未准备好

请帮我解决这个问题。谢谢。

Answer 1

我也有同样的问题，我可以告诉你我尝试了很多很多方法。

但是最后下面的工作为我工作，重新启动我的电脑(以及R和RStudio)后:

SPARK_HOME <- "C:\Apache\spark-1.5.2-bin-hadoop2.6\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\Apache\spark-1.5.2-bin-hadoop2.6\R\lib")
library(SparkR)
library(rJava)
sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

在重新启动系统后，它被包含在我的环境变量PATH:

C: ProgramData 甲骨文 Java javapath

Answer 2

这对我有用

sparkPath <- 'C:/Users/YOUR PATH'
Sys.setenv(SPARK_HOME=sparkPath)
.libPaths(c(file.path(Sys.getenv('SPARK_HOME'), 'R', 'lib'), .libPaths()))
library(SparkR)
library(sparklyr)
sc <- spark_connect(master='local')