我目前正在尝试将一个大的、解压缩的 CSV 文件上传到内部雪花阶段。文件为 500 GB。我运行了 put 命令,但看起来并没有发生太多事情。没有状态更新,它只是挂在那里。
知道这里发生了什么吗?这最终会超时吗?它会完成吗?有人有估计的时间吗?
我很想以某种方式尝试杀死它。我目前正在将 500 GB 的大文件拆分为大约 1000 个较小的文件,我将压缩这些文件并并行上传(在阅读了更多最佳实践之后(。
除非您指定了auto_compress=FALSE
,否则 PUT 中的第 1 步是压缩文件,这在 500GB 上可能需要一些时间......
使用parallel=<n>
会自动将文件拆分为较小的块并并行上传 - 您不必自己拆分源文件。 (但如果你愿意,你可以...
根据雪花建议,请将文件拆分为多个小文件,然后将文件暂存到雪花内部阶段。默认情况下,雪花会压缩文件(
然后尝试使用多集群仓库运行复制命令,然后您将看到雪花的性能。