Databricks ETL -> BigQuery，WRITE_TRUNCATE不起作用

Question

我在数据映中运行了一个ETL，写信给BigQuery。我正在尝试将代码转到" write_truncate"，又名每次运行时都会在数据上写入。这涉及更改BigQuery配置。

我已经尝试了很多事情，但还没有让它起作用。这是我当前的代码段：

import com.google.cloud.hadoop.io.bigquery.BigQueryConfiguration
val conf = sc.hadoopConfiguration
conf.set(BigQueryConfiguration.OUTPUT_TABLE_WRITE_DISPOSITION_KEY, "WRITE_TRUNCATE")

这发送错误：

"error: value OUTPUT_TABLE_WRITE_DISPOSITION_KEY is not a member of object com.google.cloud.hadoop.io.bigquery.BigQueryConfiguration"

有什么想法吗？谢谢！

Answer 1

尝试以下代码块设置配置：

    import com.google.cloud.hadoop.io.bigquery.output.BigQueryOutputConfiguration;
    import com.google.cloud.hadoop.io.bigquery.BigQueryFileFormat;
    import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
    import com.google.cloud.hadoop.io.bigquery.output.IndirectBigQueryOutputFormat;
    BigQueryOutputConfiguration.configure(conf ,projectId ,outputDatasetId ,outputTableId,outputSchema ,Temp_Gcs_path ,BigQueryFileFormat.NEWLINE_DELIMITED_JSON ,classOf[TextOutputFormat[_,_]])
    ...
    conf.set("mapreduce.job.outputformat.class",classOf[IndirectBigQueryOutputFormat[,]].getName)

，如果您可以提供问题的更多详细信息，即您要实现的目标，请完成用例等，将更容易理解问题。