如何创建Spark活动以在HDInsight上运行Scala脚本?

Question

我想使用 HDInsight 执行 Scala 脚本。下面的文章描述了运行py脚本，但没有提到abt Scala。我按照文章(而不是py文件，上传了Scala文件(，但Azure数据工厂无法执行并显示错误消息：

({
"errorCode": "2312",
"message": "Spark job failed, batch id:4",
"failureType": "UserError"
}

https://learn.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

Answer 1

如果你想执行用scala编写的Spark代码，那么你必须调用Jar文件 .如果它太复杂，那么您也可以使用数据砖笔记本。如果您遇到问题，请告诉我

Answer 2

要解决您的问题，您需要

1. 在 ADF 中打开管道
2. 点击您的火花活动
3. 转到脚本/jar，打开高级
4. 将活动的"调试信息"设置为 总是。

尽管您可以在管道失败后查看日志。ADF 将为您提供日志的 URL。它将位于 jar 根目录的日志目录中的链接存储上。

检查日志以了解导致 Spark 应用失败的原因。 参见来自 ADF 的图像