为什么Hive和HiveServer2需要映射。输入格式？

Question

我只是想确保我没有遗漏什么。我正在为Hive开发InputFormat，以处理我们特定的hdfs文件格式。我刚刚意识到它需要扩展mapred.InputFormat而不是mapreduce.InputFormat

这是对的吗？还是我错过了什么？我可以使用mapreduce软件包中的FileInputFormat吗？

Answer 1

您将不得不使用mapred.InputFormat配置单元尚未完全迁移到新包。如果您出于任何原因需要/想要使用mapreduce.InputFormat包，您可以始终包装mapreduce.InputFormat。事实上，这就是我所做的，让它与Hive交互，但仍然利用mapreduce包。

EDIT:为了在这两种类型的API之间进行互操作，我将读取文件记录的逻辑抽象到另一个类中，并在两种InputFormat中使用它。