在SAP BODS中使用脚本将CSV转换为Parquet文件格式

Question

BODS作业正在创建CSV文件。

在SAP BODS中是否有方法将CSV文件转换为Parquet并上传到S3 Bucket ?

我正在使用的当前方法如下，用于将CSV转换为Parquet

1. 在可访问BODS的文件夹中创建CSV文件

2. 创建一个Python脚本，并将脚本放在Package文件夹中，下面是代码导入系统,系统os.chdir("/usr/sap/DBO/通过/DataQuality/python/lib/python3.7/site-packages")sys.path.append("/usr/sap/DBO/通过/DataQuality/python/lib/python3.7/网站")以pd方式导入熊猫df = pd.read_csv('/ds_ext_share/BODS_DEV/Output/xxxx.csv')df.to_parquet ('/ds_ext_share BODS_DEV/输出/xxxx.parquet’)

3. 我在脚本中调用上述脚本作为我的BODS作业中的执行

exec('/usr/sap/DBO/dataservices/DataQuality/python/lib/python3.7/site-packages'，'XXXX.py'，' 8');

上面的代码不工作，需要帮助修复问题

谢谢Madhu

CSV文件未转换为Parquet，需要脚本中的帮助

Answer 1

将BODS从等式中移除，问题仍然是如何将CSV文件转换为python Pandas和PyArrow中的拼花!这个问题已经在一个类似的帖子中被问到和回答了。

• 如何将csv文件转换为拼花文件