为什么我无法在 scala REPL / Shell 中找到spark.implicits._?

Question

我在MacOS上。

scala> import spark.implicits._
^
error: not found: value spark

为什么？

scala
Welcome to Scala 2.13.2 (OpenJDK 64-Bit Server VM, Java 13.0.2).
Type in expressions for evaluation. Or try :help.
java -version
openjdk version "14.0.1" 2020-04-14
OpenJDK Runtime Environment (build 14.0.1+7)
OpenJDK 64-Bit Server VM (build 14.0.1+7, mixed mode, sharing)

如何解决这个问题？

如果我尝试火花壳

scala> import spark.implicits._

工作正常。

Answer 1

如果你正在运行 scala repl，你必须通过执行以下命令将 jar 添加到类路径中：

:require <path-to-jar>

Answer 2

Scala 中的导入是一种机制，可以更直接地引用不同的实体，例如包、类、对象、实例、字段和方法。

import spark.implicits._由Spark提供，包括各种库，用于Spark api，程序，运行时，类，无论您想怎么称呼它。

Spark 中的 scala 只是使用 spark-shell 的接口，它可以是 java、scala 或称为 Pyspark 的 Python。

Scala本身不知道从哪里获取特定的导入，即不在Scala提供的二进制文件，API，方法，类，库中。

如果使用 SBT、IntelliJ 等工具，则提供允许查找、解析导入的依赖项。