如何在DSX上添加火花包来激发r笔记本

Question

火花文档显示了如何添加火花包：

sparkR.session(sparkPackages = "com.databricks:spark-avro_2.11:3.0.0")

我相信，只有在初始化会话初始化时才能使用。

如何使用DSX上的笔记本添加SparkR的火花包？

Answer 1

请使用Pixiedust软件包管理器安装AVRO软件包。

pixiedust.installPackage("com.databricks:spark-avro_2.11:3.0.0")

http://datascience.ibm.com/docs/content/analyze-data/package-manager.html

从Python 1.6内核安装它，因为Pixiedust在Python中是可导入的。（请记住，这是在您的Spark实例级别安装）。 安装后，重新启动内核，然后切换到R内核，然后像这样读取AVRO： -

df1 <- read.df("episodes.avro", source = "com.databricks.spark.avro", header = "true")

head(df1)

完成笔记本： -

https://github.com/charles2588/bluemixsparknotebooks/raw/master/r/sparkrpackagetest.ipynb

谢谢查尔斯。