数据帧通过EC2从python加载到snowflake



我有一个python数据帧,需要加载到雪花表中。我是通过Jupyter笔记本完成的,我能够加载数据。然而,当我在EC2中运行相同的代码时,我遇到了分段错误。我想问一下,是否可以使用其他方法将数据从python数据帧加载到雪花中,比如创建临时CSV并通过python加载,或者将其更改为pyarrow格式,然后通过python以雪花形式加载。请注意,我不能使用S3 bucket。

最好的方法是使用write_pandas()函数,它将创建一个临时文件,PUT将其发送到Snowflake内部阶段,然后为您执行COPY INTO命令。

https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python连接器api write pandas

不过,这并不是唯一的方法,而且由于你的问题没有具体说明你使用的是哪种方法,我想我应该从最好的方法开始。如果这是你已经使用的方式,我会更新这个答案。

相关内容

  • 没有找到相关文章

最新更新