如何使用C#在Azure群集上远程运行流式映射减少作业?我的映射器和还原器是用Java或C++编写的。.Net C#SDK的作业执行方法在输入中使用JobType,因此我无法指定C++和基于Java的映射器/还原器的类型。
还有另一个类StreamingProcessExecutor
,它似乎适合我的情况,但它不需要输入我的凭据,所以我认为不可能将其用于远程执行。
有人知道如何远程和程序化地执行流式地图缩减作业吗?
我找到了一个.Net Hadoop SDK的WebHCatHttpClient
类,它可以用于此目的。尽管我仍然无法成功地远程运行作业。
使用WebHCat可以执行此操作。
文件在这里
只需对以下端点进行REST调用:https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming