Glue PySpark作业:调用o100.pyWriteDynamicFrame时出错

Question

我正在构建数据管道，通过在AWS Glue中创建自定义连接器，通过AWS Glue将数据从S3 bucket迁移到Snowflake。

我得到以下错误运行粘合作业：

**An error occurred while calling o100.pyWriteDynamicFrame. Glue ETL Marketplace: JDBC Data Sink: Column "serial_number" not found in schema Some(StructType(StructField(SERIAL_NUMBER,DoubleType,true), StructField(COMPANY_NAME,StringType,true), StructField(EMPLOYEE_MARKME,StringType,true), StructField(DESCRIPTION,StringType,true), StructField(LEAVE,LongType,true)))**

注意：分别使用以下版本的连接器和驱动程序-

1. 雪花火花连接器-雪花_2.11-2.4.14-Spark_2.3.jar
2. Snowflake JDBC驱动程序-雪花-JDBC-3.8.3.jar
3. S3桶与Glue位于同一区域

如果我缺少任何东西，或者我使用的连接器和驱动程序版本不正确/不支持，请告诉我。。。。。。。。

Answer 1

是否用双引号传递列？如果是，那可能是根本原因。Snowflake隐式地将所有名称转换为大写，除非你用双引号指定它，否则它也可以反过来(如果你有一个名为SERIAL_NUMBER的列名，并且你在查询中选择了"SERIAL_NUMBER"，它将无法找到该列。