在 EMR 笔记本中添加外部 jar

Question

我使用连接到 EMR 集群的 EMR 笔记本。内核是Spark，语言是Scala。我需要一些位于 S3 存储桶中的罐子。 如何添加罐子？

在"火花壳"的情况下，很容易：

Spark-shell --jars "s3：//some/

path/file.jar， s3：//some/path/faile2.jar">

同样在 scala 控制台中我可以做

：require s3：//some/path/file.jar

Answer 1

把它放在你的第一段：

%%configure -f
{
"conf": {
"spark.jars": "s3://YOUR_BUCKET/YOUR_DRIVER.jar"
}
}

Answer 2

启动笔记本后，可以在单元格中执行此操作：

%%configure -f
{
"conf": {"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3"},
"jars": [
"//path to external downloaded jars"
],
}