如何跑步.Azure数据工厂的Databricks上的Net spark作业



在Azure数据工厂中,您有一个Databricks Acvity。此活动支持运行python、jar和笔记本电脑。这些笔记本可以用scala、python、java和R编写,但不能用c#/.net.

有没有内在的或直接的支持,我可以写我的。NET激发代码并在数据工厂的Databricks上运行它?

我可以用吗。NET在Azure Databricks中的火花?

您指定要启动一个JAR文件。这个NET for Apache Spark项目使用一个JAR文件来启动一个侦听器。NET代码然后连接到.

JAR是microsoft-spark-2.4x-0.12.1.JAR(取决于spark的版本和.NET NuGet的版本(。要运行的类是org.apache.spark.deploy.dotnet.DotnetRunner,您需要将正确的参数传递给它,以便它启动您的。NET应用程序。

Ed

最新更新