是否有一种方法可以跨R和Scala脚本共享数据,假设这两个脚本运行在同一个Spark集群上?例如,我想使用Scala从源系统中提取数据,并且我想在R中访问这些数据,而不必持久化它。
我试过使用registerTempTable来保存内存中的数据,但我似乎无法在另一个脚本中访问它。
没有办法做到这一点(在任何会话之间)。您应该将数据写入磁盘。(hdfs等)
是否有一种方法可以跨R和Scala脚本共享数据,假设这两个脚本运行在同一个Spark集群上?例如,我想使用Scala从源系统中提取数据,并且我想在R中访问这些数据,而不必持久化它。
我试过使用registerTempTable来保存内存中的数据,但我似乎无法在另一个脚本中访问它。
没有办法做到这一点(在任何会话之间)。您应该将数据写入磁盘。(hdfs等)
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium