如何使用fastparquet将数据帧数据附加到adls2中的现有文件中

Question

在adls2中有一个文件。通过使用下面的语句，我无法将数据附加到现有文件中。

filepath = "abfs://shopifyparquet/test/parquet/LIVE/filename">

adls2_data_df。to_parquet(path=filepath,engine='fastparquet'，storage_options={'account_name': 'test'， 'account_key': 'mykey'}，append=True)

我尝试了本地文件，并能够使用fastpaquet将数据附加到现有文件。我尝试使用adls2进行相同的操作，但得到以下异常

File mode not supported
Exception ignored in: <function AzureBlobFile.__del__ at 0x000001CBA3BC6950>
self.close()
File "C:UsersSivasankar.MuthurajuAppDataLocalPackagesPythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0LocalCachelocal-packagesPython310site-packagesadlfsspec.py", line 1851, in close
super().close()
File "C:UsersSivasankar.MuthurajuAppDataLocalPackagesPythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0LocalCachelocal-packagesPython310site-packagesfsspecspec.py", line 1740, in close
if not self.forced:
AttributeError: 'AzureBlobFile' object has no attribute 'forced'

Answer 1

您可以尝试，这可以用于将新数据附加到现有文件中:

dbutils.fs.cp("data_new.csv", "abfss://<Container_name>@<Storage_account_name>.dfs.core.windows.net/", True)