在SparkR 1.5.0中，我们如何在公共列上的连接之后明确地指定列

Question

我在一个同名的列上连接了两个数据帧。

oe = join(orders, emp, orders$EmployeeID == emp$EmployeeID)

结果数据框有两个相同名称的列EmployeeID

现在通过甚至打印列名进行分组

peremp = groupBy(oe, 'EmployeeID', sales = n(oe$OrderID))
oe$EmployeeID

失败，出现错误

invokeJava(isStatic = FALSE, objId$id, methodName，…)错误:
org.apache.spark.sql.AnalysisException: Reference 'EmployeeID' is可以是:EmployeeID#36, EmployeeID#69.;

Answer 1

可以通过父数据框架访问列。首先，让我们创建一些示例数据:

df1 <- createDataFrame(sqlContext, data.frame(id=c(1, 2, 3), v=c("a", "b", "c")))
df2 <- createDataFrame(sqlContext, data.frame(id=c(2, 3), v=c("g", "z")))
df <- join(df1, df2, df1$id == df2$id)
head(df)
##   id v id v
## 1  3 c  3 z
## 2  2 b  2 g

并访问v列:

select(df, "v")
## 15/09/30 17:47:13 ERROR RBackendHandler: select on 131 failed
## Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
##   org.apache.spark.sql.AnalysisException: Reference 'v' is ambiguous, could be
## ....
select(df, df1$v) %>% head
##   v
## 1 c
## 2 b

Answer 2

一个简单的解决方法似乎是预先使用withColumnRenamed函数重命名其中一个表中的列。我要尝试的另一种方法是从列函数中找出位置，然后删除列，但我没有看到一种明显有效的方法。