使用主题架构的 PubSub 和 BigQuery 订阅

Question

随着2022年7月宣布的新的直接PubSub到BigQuery，我们现在可以创建BigQuery订阅，直接从PubSub推送数据。

当涉及到时间戳字段时，它们是如何映射到BigQuery的？我尝试过的东西：

• 启用"使用模式"；在PubSub中创建一个具有created_at: TIMESTAMP的BQ表

• 文档似乎没有为Protobuf指定时间戳映射，因此忽略了这一点。

• 当使用Avro Logical字段时，我在创建订阅时遇到的错误类似于Incompatible schema type for field created_at: expected INT64, got TIMESTAMP.

尝试的PubSub主题模式示例：

{
"type": "record",
"name": "Avro",
"fields": [
{
"name": "created_at",
"type": {
"type": "<long|int>",
"logicalType": "timestamp-<millis|micros>"
}
}
]
}

为时间戳字段创建PubSub架构的正确方法是什么？

Answer 1

目前，BigQuery订阅不支持逻辑类型。文件正在更新以反映这一事实，并在我们发言时添加了支持。预计它将在2022年第三季度末准备就绪。目前，TIMESTAMP逻辑类型将映射到底层类型，在本例中为INT64。