是否可以在Azure上远程运行流式地图缩减作业



如何使用C#在Azure群集上远程运行流式映射减少作业?我的映射器和还原器是用Java或C++编写的。.Net C#SDK的作业执行方法在输入中使用JobType,因此我无法指定C++和基于Java的映射器/还原器的类型。

还有另一个类StreamingProcessExecutor,它似乎适合我的情况,但它不需要输入我的凭据,所以我认为不可能将其用于远程执行。

有人知道如何远程和程序化地执行流式地图缩减作业吗?

我找到了一个.Net Hadoop SDK的WebHCatHttpClient类,它可以用于此目的。尽管我仍然无法成功地远程运行作业。

使用WebHCat可以执行此操作。

文件在这里

只需对以下端点进行REST调用:https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming

相关内容

  • 没有找到相关文章

最新更新