我在Spark EMR集群上使用Jupyter Notebook,想了解更多关于某个命令的信息,但我不知道搜索的正确技术堆栈是什么。那是斯巴克吗?Python吗?木星的特殊语法?Pyspark吗?
当我试着用谷歌搜索它时,我只得到几个结果,其中没有一个实际上包括我引用的内容。它好像忽略了%%
什么"%%spark_sql"它的起源是什么,你可以传递给它的参数是什么,比如-s和-n?
一个例子可能看起来像
%%spark_sql -s true
select
*
from df
这些被称为魔术命令/函数。尝试在Jupyter单元格中运行%pinfo %%spark_sql
或%pinfo2 %%spark_sql
,看看它是否提供了关于%%spark_sql
的详细信息。