我使用下面的代码将数据从Snowflake加载到Pandas数据帧很长一段时间,直到我更新了Snowflak连接器python==2.7.0和pyarrow==5.0.0
ctx = connector.connect(
user=user,
password=pwd,
account="***.eu-central-1",
warehouse="***",
database="***",
)
cur = ctx.cursor()
cur.execute(data_sql)
# Issue occurs here
long_data_df = cur.fetch_pandas_all()
一切都按预期进行,但在更新到上述版本后,数据帧将使用非唯一的数据帧索引生成。
索引 | colA |
---|---|
0 | val1 |
0 | val2 |
0 | val3 |
1 | val4 |
我们不想降级pyarrow和雪花连接器python包,我们通过添加在pandas数据帧中重新设置索引来解决这个问题
long_data_df = long_data_df.reset_index(drop=True)