使用 Apache Nifi 将数据从 vertica 传输到 Redshift



我想使用apache nifi将数据从vertica传输到redshift。我需要设置哪些处理器和配置?

如果 Vertica 和 Redshift 具有"行为良好"的 JDBC 驱动程序,您可以为每个驱动程序设置一个 DBCPConnectionPool,然后是 SQL 处理器,如 ExecuteSQL、QueryDatabaseTable 或 GenerateTableFetch(后者生成用于 ExecuteSQL 的 SQL(。这些会将您的记录转换为 Avro 格式,然后(在 NiFi 1.2.0 之前(您可以使用 ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL 将您的记录插入到 Redshift 中。

在NiFi 1.2.0中,您可以使用设置AvroReader以在PutDatabaseRecord中使用。然后,您只需要SQL处理器将记录从Vertica中取出,直接到PutDatabaseRecord以将它们放入Redshift中。

最新更新