Apache Beam Python WriteToBigtable Possible to Deadletter?



正如标题所说,

当WriteToBigtable()失败时,是否可以在pubsub中写入deadletter主题?我知道Bigquery是有可能的,但是我还没见过BigTable。

我正在使用Apache Beam python库。

当前WriteToBigTable不返回失败记录。但是,您可以编写自定义的PTransform来根据您的需求返回失败的突变。内置的转换使用谷歌python客户端库下面写大表。你可以利用它的源代码,并添加异常处理来输出你的异常类型。

源代码:https://beam.apache.org/releases/pydoc/2.25.0/_modules/apache_beam/io/gcp/bigtableio.html#WriteToBigTable

最新更新