Rest接口到HDInsight Spark以提交作业并读取结果



我在Azure上的HDInsight中设置了一个Spark集群,我有一个服务thaqt定期将数据推送到HDInsight blob存储中,我在此基础上创建了一个Hive External表。我能够使用Jupyter,执行一些Spark SQL查询并查看结果。

现在我有一个ASP.Net网站,它需要根据用户请求执行类似的Spark SQL查询作业,并在网页上显示结果。

有没有图书馆对此表示祝贺,或者有人可以分享一些如何做到这一点的样本?

我看到HDInsight spark集群集群附带了Livy,但我没有看到任何示例向我们展示如何在我的dotnet环境中使用它。顺便说一句,我认为这是我们需要采取的路线来解决我的问题。

我对这一切都很陌生,任何建议都会很有帮助。

谢谢,Kiran

很抱歉,我们目前没有HDInsight Spark SDK。您可以始终向API发送REST调用,如下所述:https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/.

然而,如果你想从LivyAPI中获得结果,你需要做一些变通办法来实现这一点。原因是我们在HDInsight中以集群模式在YARN上使用Spark,结果不会写回Livy API。您需要查看Spark驱动程序的容器日志,并手动获取stdout/stderr。

如果你有更多的问题,你可以给我发一封电子邮件到微软网站的xiaoyzhu,我可以帮助找到合适的所有者。

来自微软HDInsight 的朱晓勇

相关内容

  • 没有找到相关文章

最新更新