在Google Dataflow中获取插入GBQ失败的原始对象

Question

我正在使用Apache Beam将一些对象写入google Big Query。我使用类似的代码

pipeline.apply(...)
.apply(BigQueryIO.<MyObject>write().withFormatFunction(...))

我发现我可以使用.getFailedInsertsWithErr()方法来获得没有插入的TableRow。

我想获得导致插入失败的原始MyObject对象，以提供另一种处理方式。有可能达到这个目的吗？

Answer 1

目前还不可能开箱即用。BigQueryIO应用格式函数后，行中没有对原始对象的引用。