使用Spark和Drill,我可以查询本地的镶木点文件。
Presto是否提供相同的功能?换句话说,是否可以使用presto查询本地镶木quet文件 - 而无需浏览HDFS或Hive?
我找不到一种直接的方法。这已经很长时间了,我不确定目前还有其他选项。
我所做的是;创建一个自定义的Hive Meta商店,该商店将返回schemas,tables带有我的镶木木材文件的路径。在Presto中,使用该元存储进行配置,并且效果很好。
从我的理解中,Presto的LocalFile仅适用于HTTP_REQUEST_LOGS(这就是为什么它们具有设置:presto-logs.http-request-log.location
)。我无法使用presto查询本地镶木quet数据。
我能够使用Apache Drill查询数据。开箱即用,您可以使用本地文件系统切换以下目录并在其上运行常规SQL:
# Start with /bin/drill-embedded
0: jdbc:drill:zk=local> select * from dfs.`/somedir/withparquetfiles/`