Python 2 with Spark 2.0



我们如何用Spark 2.0为Python 2/或3创建一个Spark服务。每当我创建一个新服务并将其与python笔记本相关联时,它的Python 2与Spark 1.6。为什么我看不到我正在创建的服务的配置,就像在数据砖免费版中一样?我想使用 Spark 2.0 中引入的 SparkSession api 来创建您的 Spark 会话变量,因此问题来了。

您可以选择 Python 和 Spark 版本,同时:

a. 在数据科学体验中创建新笔记本:

DSX `Project` --> Overview--> `+ add notebooks` --> `Choose the language` (Python2/R/Scala/Python3) and Spark version (1.6/2.0/2.1).

b. 更改现有笔记本的内核:

From any running notebook, on the notebook menu choose `Kernel` and then choose the language and Spark version combination of your choice.

您无法看到正在创建的服务的配置,因为您没有使用自己的配置创建服务。Bluemix 和数据科学体验中的 Apache Spark 即服务实例正在共享集群中获取执行槽。该共享集群的配置由 IBM 管理。

实例的 Jupyter Notebook 服务器具有每种受支持的语言和 Spark 版本组合的内核规格。要将笔记本切换到其他组合,请选择"内核 -> 更改内核 ->(任何内容)"。或者在创建笔记本时分别选择语言和 Spark 版本。

相关内容

  • 没有找到相关文章

最新更新