是否有任何方法可以使用Pyspark直接从Oracle SQL读取SQL脚本?我一直在Pyspark上加载两个桌子,并试图加入它们,在Pyspark中需要很长时间,我需要加入更多的桌子(6张表)。这在Oracle SQL中不需要太多时间。
那么如何使用Pyspark读取并运行" X.SQL"文件?
,所以我找到了一个解决方案:
with open("C:DesktopProjectAlerts.sql") as Al:
Alert= Al.read()
results = sqlctx.sql(Alert)