保存/导出Spark SQL齐柏林飞艇查询的结果

Question

我们使用apache zeppelin来分析我们的数据集。我们有一些查询，我们想要运行，有大量的结果，从他们返回，并希望在齐柏林运行查询，但保存结果(显示限制为1000)。是否有一个简单的方法让齐柏林保存所有的查询结果s3桶也许?

Answer 1

我设法制作了一个笔记本，它可以有效地使用scala解释器做我想做的事情。

z.load("com.databricks:spark-csv_2.10:1.4.0")
val df= sqlContext.sql("""
select * from table
""")
df.repartition(1).write
    .format("com.databricks.spark.csv")
    .option("header", "true")
    .save("s3://amazon.bucket.com/csv_output/")

值得一提的是，z.load函数似乎有一天为我工作，但后来我又试了一次，由于某种原因，我不得不在它自己的段落中声明它与% deep解释器，然后在标准scala解释器中剩余的代码