如何将Watson Studio python笔记本与IAE Spark集成

Question

我有一个IBM Analytics Engine(IAE(实例，将其作为相关服务添加到我的Watson Studio项目中，并在此基础上创建了一个环境。然后，我创建了一个python笔记本，并将其环境设置为上述内容。

我在笔记本中运行了一个简单的pyspark脚本，注意到它使用了一个本地实例而不是IAE。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
spark

输出：

SparkSession - in-memory
SparkContext
Spark UI
Version
v2.4.5
Master
local[*]
AppName
pyspark-shell

我做错了什么？

Answer 1

你没有做错什么。您的代码将被发送到IAE执行。因此，它在您的IAE实例中本地运行。