使用数据流 JdbcIO API 写入云 sql

Question

我有一个要求，我必须使用Cloud Dataflow API将字符串的PCollection写入Cloud SQL。

pipeline.apply(TextIO.read().from("gs://***/sampleBigtable.csv"))
.apply(JdbcIO.write()
.withDataSourceConfiguration(DataSourceConfiguration
.create("org.postgresql.Driver", "jdbc:postgresql://***:5432/test")
.withUsername("**").withPassword("password10"))
.withStatement("insert into person values(?,?)")
.withPreparedStatementSetter(
new JdbcIO.PreparedStatementSetter < Object > () {
/**
* 
*/
private static final long serialVersionUID = 1 L;
@Override
public void setParameters(Object arg0, PreparedStatement query)
throws Exception {
// TODO Auto-generated method stub
query.setString(1, "Hello");
query.setString(1, "Hi");
}
}));

这是我正在尝试的示例代码。我想做的一个非常简单的版本。

另外，使用 parDo 从数据流写入云 SQL 并编写简单的插入语句是否可行？

Answer 1

前面的变换输出一个PCollection<String>，所以你需要指定它是JdbcIO<T>.write()的输入类型

像这样：

pipeline
.apply(TextIO.read().from("gs://***/sampleBigtable.csv"))
.apply(JdbcIO.<String>write().withDataSourceConfiguration(
DataSourceConfiguration.create("org.postgresql.Driver","jdbc:postgresql://***:5432/test")
.withUsername("**")
.withPassword("password10"))
.withStatement("insert into person values(?,?)")
.withPreparedStatementSetter((element, query) -> {
query.setInt(1, 1);
query.setString(2, "Hello");
})
);