我查看了开发人员指南,但没有找到答案。到目前为止,我能够将CSV和ORC文件从HDFS加载到Vora,但是能够从Hive加载吗?
在没有指定 Hive 作为源的情况下,我尝试使用等于 /apps/hive/warehouse/tablename/00000_0
的"路径"(或任何部分文件名)。但是,如果 Hive 表由 /tablename/
目录中的多个文件表示,我必须在"路径"中显式列出它们,这不是一个理想的选择。有没有更好的方法?
更新:这个问题的上下文是,虽然 Vora 不提供数据持久性,但我想使用 Hive 仓库作为持久性层,它最终仍然是文件,但有一些额外的组织。在SAP生态系统中使用Hadoop,我可以利用带有Hive适配器的SAP数据服务将文件从外部加载到Hadoop中(如果需要,可以将Hadoop中的数据转储到文件中),并通过Vora提供这些数据。
没有自动的方法将 Hive 表加载/迁移到 Vora。在HDFS中基于(Hive组织的)文件创建Vora表将是要走的路。
paths
选项允许使用通配符*
从HDFS中的特定目录加载所有文件。这适用于csv,镶木地板,兽人。例如 paths "/path_to_my_dir1/*,/path_to_my_dir2/*"