如何使用Google电子表格执行Spark流媒体

Question

我想构建一个应用程序，该应用程序将在本地运行，支持实时数据处理，并且需要使用python构建。

需要实时提供的输入，以谷歌电子表格的形式提供(一次有多个用户提供数据(。

此外，还需要将代码的实时输出写回相邻列中的电子表格。

请同样帮助我。

感谢

Answer 1

您可以使用spark-google电子表格库从spark读取和写入google Sheets，如下所述。

下面是一个如何将数据从Google Sheet读取到DataFrame的示例：

val df = sqlContext.read.
format("com.github.potix2.spark.google.spreadsheets").
load("<spreadsheetId>/worksheet1")

增量更新将很困难。您可能只想尝试进行完全刷新。