我正在使用Hadoop 2.5 Vanilla版本,我需要将大型图像数据集存储到HDFS和Hive中,但我不知道该怎么办?
任何人都可以帮助解决这个问题
提前谢谢你
要将文件存储到 HDFS 中很容易,请参阅放置文档:
Usage: hdfs dfs -put <localsrc> ... <dst>
您可以编写脚本来放置图像文件。
还有另一个问题告诉您如何使用Hive进行操作:如何在Hive中存储二进制数据?
我在网上看到一些讨论,建议将图像存储到 hdfs 并存储元数据并链接到 HBase 中的文件是比将图像直接存储到 HBase 更好的解决方案。
请参阅以下链接以供参考:
http://apache-hbase.679495.n3.nabble.com/Storing-images-in-Hbase-td4036184.htmlhttp://www.quora.com/Is-HBase-appropriate-for-indexed-blob-storage-in-HDFShttps://www.linkedin.com/groups/What-is-best-NoSQL-DB-3638279.S.5866843079608131586