如何确保将数据流日志写入存储桶

Question

如何确保数据流日志写入GCP 中的存储桶

能帮助任何人吗

Answer 1

Dataflow日志在显示数据流DAG的作业UI页面中可见。

日志也写入Cloud Logging中。

Dataflow日志不直接写入Cloud Storage中的文件中。

如果要将日志写入Cloud Storage文件，则必须在接收器中显式执行此操作。

例如，您可以在具有死信队列的Cloud Storage中的文件中写入错误日志。

死信队列是一种处理带有副输出的作业中另一个队列中的消息的方式。