我有一个独特的情况,我所有的 orc 文件都作为压缩的 orc 文件位于 Azure 上的 blob 存储上。我需要将这些文件加载到本地 SQL DB 中。我可以使用 polybase 下载我理解的数据,但这需要很长时间。我认为网络连接是这里的瓶颈,因为 poly base 必须解压缩这些文件,运行 map Reduce 作业并通过网络将数据检索到本地 SQL 表上。我没有任何其他SQL框可以尝试polybase横向扩展。
但是我可以将这些 orc 文件下载到本地驱动器中,但我不知道如何将外部数据源写入指向本地文件。Microsoft没有任何文档。外部数据源是否有可能指向本地 orc 文件?我非常怀疑,但只是试一试。
其他解决方案是在本地解压缩这些 orc 文件并加载它,但我不知道任何工具可以做到这一点?请建议一些工具。
PolyBase 不支持从本地文件位置读取。