Apache Zeppelin - 无法使用 SparkR 从 HIVE 表加载数据帧

Question

>我需要从Hive表加载数据帧，为此我遵循了Apache Spark 2.3文档中的此说明。https://spark.apache.org/docs/latest/sparkr.html(。我是通过齐柏林飞艇笔记本来做的。

有人可以解释如何使用SparkR创建数据帧吗？还是我做错了什么？任何答案都值得赞赏。

文档

查询可以在 HiveQL 中表示。 results <- sql("FROM src SELECT key, value")

我的代码：

sp_df <- sql("SELECT * FROM sparkr_test")

我的代码结果：

head(sp_df) [1] “SELECT * FROM sparkr_test”

Answer 1

您的数据位于何处，是否已将源数据注册为表？您需要运行如下内容：

sql("CREATE TABLE IF NOT EXISTS sparkr_test (column1 INT, column2 STRING ...) USING hive")
sql("LOAD DATA LOCAL INPATH 'path/to/data/data.txt' INTO TABLE sparkr_test")

在查询表之前

Answer 2

我遇到了同样的问题，通过指定库解决了它。

SparkR::sql("select * from mytable")