如何在PySpark中读取spark-submit提交的.ini文件?

Question

我像这样向Spark提交我的应用程序和我的。ini文件:

spark-submit 
--master ... 
--files /path/of/config.ini 
--py-files /path/of/py.zip 
/path/of/my_script.py

在my_script.py中，我试着这样读config.ini:

with open('config.ini') as f:
print(f.readline)

但是它返回一个错误告诉我No such file or directory: config.ini，什么是正确的方式来读取config.ini的内容?

Answer 1

我已经复制了你的代码

* * * * Sample.py ******************

import sys
# read argumets
from pyspark.sql import SparkSession
spark = SparkSession.builder 
.master("local[1]") 
.appName("sample app") 
.getOrCreate() 

file=sys.argv[1]
print("file name :",file)
if __name__ == '__main__':
with open(file) as f:
print("read file :",f.readline())

****** config.ini ***********这是示例文本

******** Spark-submit *********

spark-submit——master local sample.py config.ini路径

运行正常，没有错误。

i think you are missing path:-

提供读取文件内容的完整路径

文件= sys.argv [1]使用open(path tofile)作为f: