如何定义AWS GLUE模式的JSON从python SDK发送到消防水带?

Question

我有这样的设置:

PythonSDK发送预定义JSON ->Aws kineesis消防水带->将数据转换为"参数";使用AWS GLUE模式->将数据保存到S3(无论是否成功)。

发送string、int &布尔值很容易，发送数组/结构体一点也不简单。我一直收到奇怪的错误信息:

模式无效。解析模式时出错:错误:期望的类型在'STRUCTname:STRING,id:BIGINT,is_bla:BOOLEAN'的位置0但发现'STRUCT'

或

模式无效。解析模式时出错:错误:期望的类型在'ARRAY'的位置0，但'ARRAY'被找到。

1. 为什么我得到这些错误信息?
2. 模式数据类型是否有适当的文档/示例?我只能找到这样一句话:列Type应该匹配"单行字符串模式"。

Answer 1

我来回答我的问题:

在保存GLUE模式&向消防水带发送数据。我发送的更新json使用旧模式，因此出现错误。

也是这样，我们必须自己验证一些命名约定，很不幸的是AWS在创建时没有这样做。