读取hadoop映射reduce中的json对象以处理数据



iam是hadoop的初学者,任何人都可以帮助我阅读mapreduce作业中的json吗。

我在谷歌上搜索过,发现jaql适合阅读json。但我没有找到任何关于如何在我们的map reduce作业中实现它的文档。

有没有其他框架支持在map reduce中读取json?

对此有什么建议吗?

提前感谢

我宁愿相信MapReduce框架本身能够处理这个问题。MapReduce允许我们编写自定义的Inout/Output格式来处理OOTB不支持的数据,比如JSON。有关示例,请参阅此问题。我更喜欢这个,因为我不需要任何第三方的东西。这只是扩展MapReduce API的问题(但这只是我的选择。其他人可能会找到更合适的东西)。

但是,IMHO最简单的方法是使用Hive或Pig来处理JSON数据。您不需要做太多就能让它发挥作用,因为这两个项目都支持OOTB JSON。请参阅this了解Hive JSON SerDe,并参阅this解Pig'sJsonLoaderJsonStorage

HTH

相关内容

  • 没有找到相关文章

最新更新