如何使用BlazingSQL处理大于GPU内存的数据

Question

我试图用50 GB的CSV文件运行sql查询，但我的GPU内存只有40GB。我该如何处理
此外，我只能使用带有docker映像的jupyter笔记本运行blazingsql，有人能帮助我如何在本地安装它吗？

因为在他们的github上使用conda命令是不可能的。

Answer 1

目前实现这一点的一种方法是使用Dask SQL。因为它建立在Dask之上，所以Dask SQL继承了Dask处理大于内存工作负载的能力。

安装Dask SQL和使用GPU的最简单方法是创建一个conda环境或使用RAPID发布选择器提取一个Docker容器。