使用 IntelliJ idea 的 Scala 工作表作为 Apache Spark 的 Scala REPL



是否可以在Intellij中使用Scala工作表作为Jupyter Notebook的替代方案。我遵循此处提到的解决方案,但是它在本地运行代码,而不是在远程群集上运行。我的主要挑战是IntellijIDE在我的笔记本电脑中本地运行,火花集群在云中。如何要求Intellij使用远程SBT?

如果您只是尝试以更具交互性/副词方式的教程来学习Spark编程和概念,那么您在帖子中提到的链接就是如何做到这一点。在这种模式下,您基本上是在模拟单个节点火花群集(即您的本地计算机),既可以充当驱动程序,又是执行人节点(全部)。

但是,这不是您实际上在更真实的情况下在实际火花集群上提交并运行Spark应用程序的方式。如果您要这样做,那么您需要使用两个部署之一模式Spark提供:客户端模式和群集模式。您将使用" Spark-Submit"命令行实用程序将您的编译的Spark库(胖罐)提交为火花工作。此处的更多详细信息。

最新更新