如何使用python在spark中执行.sql文件

Question

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
conf = SparkConf().setAppName("Test").set("spark.driver.memory", "1g")
sc = SparkContext(conf = conf)
sqlContext = SQLContext(sc)
results = sqlContext.sql("/home/ubuntu/workload/queryXX.sql")

当我使用:python test.py执行这个命令时，它给了我一个error。

y4j.protocol。Py4JJavaError:调用o20.sql时发生错误。: java.lang.RuntimeException: [1.1] failure: '' with " expected but '/' found

/home/ubuntu/负载/queryXX.sql

at scala.sys.package$.error(package.scala:27)

我是Spark的新手，我需要帮助才能前进。

Answer 1

SqlContext.sql期望一个有效的SQL查询，而不是文件的路径。试试这个:

with open("/home/ubuntu/workload/queryXX.sql") as fr:
   query = fr.read()
results = sqlContext.sql(query)

Answer 2

运行spark-sql --help会给你

CLI options:
 -d,--define <key=value>          Variable subsitution to apply to hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable subsitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

你可以这样执行sql脚本:

spark-sql -f <your-script>.sql

Answer 3

我不确定它是否能回答你的问题。但是，如果您打算在现有表上运行查询，您可以使用

spark-sql -i <Filename_with abs path/.sql>

还有一件事，如果你有pyspark脚本，你可以在这里使用spark-submit details