我们如何使用 Nifi Hive 流处理器将 Orcdata 加载到 Hive 中

Question

我有 orc 文件及其架构，我尝试在本地 Hive 中加载此 orc 文件并且工作正常，现在我将生成多个 orc 文件，需要使用 nifi 将此 orc 文件加载到 Hive 表中 放置 Hive 流处理器？

Answer 1

PutHiveStreaming 希望传入的流文件采用 Avro 格式。如果您使用的是 PutHive3Streaming，您有更大的灵活性，但它不接受 ORC 格式的流文件;相反，这两个处理器都将输入转换为 ORC，并将其写入 Hive 中的托管表中。

如果你的文件已经是ORC格式，你可以使用PutHDFS将它们直接放入HDFS中。如果您没有直接写入托管表位置的权限，则可以写入临时位置，在其上创建一个外部表，然后使用 INSERT INTO myTable FROM SELECT * FROM externalTable 或其他方法从该位置加载到托管表中。