使用数据融合的带参数的增量管道

Question

是否有可能从大查询表中创建一个参数，在这种情况下，最大ID(插入的最后一行)，使用数据融合作为增量管道的起点?

我正在使用数据融合管道，它从MySQL数据库中提取数据并插入大查询表，但我想从MySQL中提取增量数据，使用大查询表中当前的最大ID作为起点，这意味着从MySQL中只提取ID大于大查询中的最大ID的行。

Answer 1

如果你可以使用插件"BigQuery ">

在BQ表上写查询(select max(last_row_inserts) asparameter_1

)形式BQ_table)并点击"行作为参数">

现在可以使用/传递参数_1作为运行时参数，从源表中获取数据。