使用ApacheNifi将数据从mysql导入到Hive/hdfs

Question

am尝试使用Nifi将数据从mysql导入到hdfs/hive，面临一些挑战。请给我推荐。

1. QueryDatabaseTable--mysql数据
2. 转换器AvroToJson---输出

[{"emp_id": 467260, "emp_name": "Rob", "emp_age": 32},
{"emp_id": 467261, "emp_name": "Vijay", "emp_age": 32},
{"emp_id": 467258, "emp_name": "Jayaprakash", "emp_age": 26},
{"emp_id": 467259, "emp_name": "Kalyan", "emp_age": 32},
{"emp_id": 467262, "emp_name": "Andy", "emp_age": 20},
{"emp_id": 467263, "emp_name": "Ashley", "emp_age": 24},
{"emp_id": 467264, "emp_name": "Mounika", "emp_age": 24}]

3. splitjson——如何将json文件拆分为单流文件

Answer 1

正如James所说，在SplitJson中，您可能想要$，也可以尝试$。*

作为替代方案，您可以尝试QueryDatabaseTable->SplitAvro->ConvertAvroToJson，这将首先拆分Avro记录，而不是将整个集合转换为JSON，然后拆分JSON。

在Apache NiFi 1.0.0中，将有一个ConvertAvroToORC处理器，它将允许您直接转换为ORC，然后您可以使用PutHDFS和PutHiveQL（在NiFi 0.7.0和1.0.0中）将文件传输到HDFS，并在目标目录上创建一个配置单元表，以使数据准备好进行查询。

Answer 2

我相信分割这些记录的JsonPath表达式只是$，因为记录数组是根对象。