为小文件但数量较大的文件创建数据库



我有大量的小文件,可能是结构化的(Json,csv)或可能是非结构化的(视频)。我想创建数据库,以系统的方式整合所有这些文件,将来可用于数据分析目的。

到目前为止,我一直在考虑HDF5,MongoDB来完成这项任务。

请建议一些与上述场景一致的其他选项,以及HDF5和MongoDB中哪一个是最好的

在我看来,

您可以将所有文件存储在HDFS中,但对于非结构化(视频)MangoDB将是最好的。

最新更新