如何在synapse加载一个spark数据帧数据到synapse专用池?

Question

我有一个数据帧有100000条记录，我们做转换后得到，现在我必须加载所有这些数据到突触专用池在COUNTRY_TABLE。我如何在Synapse中实现这一点?

几个其他查询

1. 是否必须在专用池表中创建我们的数据框架列的模式?
2. 如何在spark笔记本中使用查询来覆盖专用池中的每次数据，如果新数据来了，我想每次用新数据覆盖旧数据。

我已经在专用池中为我的目标表创建了一个Schema，其中包含我们在spark dataframe

中的所有列名

Answer 1

您可以使用Azure Synapse Dedicated SQL Pool Connector for Apache Spark将数据加载到Synapse Spark Pool，因为记录的数量相对较少。另一个选项是使用COPY命令。