double % spark SQL在jupyter笔记本



我在Spark EMR集群上使用Jupyter Notebook,想了解更多关于某个命令的信息,但我不知道搜索的正确技术堆栈是什么。那是斯巴克吗?Python吗?木星的特殊语法?Pyspark吗?

当我试着用谷歌搜索它时,我只得到几个结果,其中没有一个实际上包括我引用的内容。它好像忽略了%%

什么"%%spark_sql"它的起源是什么,你可以传递给它的参数是什么,比如-s和-n?

一个例子可能看起来像

%%spark_sql -s true
select 
*
from df

这些被称为魔术命令/函数。尝试在Jupyter单元格中运行%pinfo %%spark_sql%pinfo2 %%spark_sql,看看它是否提供了关于%%spark_sql的详细信息。