如何在 Spark 2.0 中启用笛卡尔联接

Question

我必须在 Spark 2.0 中交叉联接 2 个数据帧，我遇到了以下错误：

用户类引发异常：

org.apache.spark.sql.AnalysisException: Cartesian joins could be prohibitively expensive and are disabled by default. To explicitly enable them, please set spark.sql.crossJoin.enabled = true; 

请帮我在哪里设置此配置，我正在 eclipse 中编码。

Answer 1

正如错误消息明确指出的那样，您需要将spark.sql.crossJoin.enabled = true设置为您的 Spark 配置

您可以设置相同的内容，如下所示：

val sparkConf = new SparkConf().setAppName("Test")
sparkConf.set("spark.sql.crossJoin.enabled", "true")

然后通过传递此SparkConf来获取或创建SparkSession

val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

然后加入...