org.apache.spark.sql.Row 无法在 Spark 2.0 预览版中解析

Question

我已经在使用Spark 1.6.1，现在正在评估Spark 2.0 Preview，但我找不到org.apache.spark.sql.Row。

这是必需的，因为我正在将 1.6.1 中的数据帧代码迁移到 2.0 预览版。我在这里错过了什么吗？我的 maven 依赖项粘贴在下面

  <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.0.0-preview</version>
         <scope>system</scope>
        <systemPath>C://spark-2.0.0-preview-bin-hadoop2.7//jars//spark-core_2.11-2.0.0-preview.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>com.oracle</groupId>
        <artifactId>ojdbc7</artifactId>
        <version>12.1.0.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.0.0-preview</version>
         <scope>system</scope>
        <systemPath>C://spark-2.0.0-preview-bin-hadoop2.7//jars//spark-sql_2.11-2.0.0-preview.jar</systemPath>
    </dependency>

Answer 1

在 Spark v2.0.0 行已移至另一个 jar 文件，将其添加到您的 Maven 依赖项中

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-catalyst_2.11</artifactId>
    <version>2.0.0-preview</version>
    <scope>system</scope>
    <systemPath>C://spark-2.0.0-preview-bin-hadoop2.7//spark-catalyst_2.11-2.0.0-preview.jar</systemPath>
</dependency>

Answer 2

使用这个，它对我有用。从 Spark 1.6.1 移至 2.0对于马文来说，

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-tags_2.11</artifactId>
    <version>2.0.0-preview</version>
</dependency>

对于 SBT ，

libraryDependencies += "org.apache.spark" % "spark-tags_2.11" % "2.0.0-preview"

对于格拉德尔来说，

compile group: 'org.apache.spark', name: 'spark-tags_2.11', version: '2.0.0-preview'