如何从Azure数据工厂运行shell脚本。在shell脚本中,我试图执行一个hql文件,如下所示:
/usr/bin/hive -f "wasbs://hivetest@batstorpdnepetradev01.blob.core.windows.net/hivetest/extracttemp.hql" >
wasbs://hivetest@batstorpdnepetradev01.blob.core.windows.net/hivetest/extracttemp.csv
我的hql文件存储在Blob存储中,我想执行它并将结果收集到csv文件中,然后将其存储回Blob存储。整个脚本存储在shell脚本中,该脚本也存储在Blob存储中。现在我想在Azure数据工厂的蜂巢活动中执行。我们将不胜感激。
您可以在ADF中使用Hadoop配置单元活动。请看一下这个医生。您可以使用ADF V2 UI构建您的管道。