我有Cloudera CDH 5.2.2集群与Apache Spark 1.5.0。
是否有任何方法来运行这个集群应用程序使用Apache Spark 2.0与Dataset API?Сluster设置是理想的，不要更改
我尝试使用maven-shade-plugin运行内置到JAR Spark 2.0.0，但它不工作(NoSuchMethodException)。
如果您想使用Spark 2.0.0的特性，那么您的集群应该运行Spark 2.0.0。我不认为有解决办法。像NoSuchMethodExeception这样的异常会被抛出，因为你正在使用的方法或方法的签名已经从1.5.0更改为2.0.0，因此集群不理解它们。