将数据从Teradata移动到Snowflake

Question

尝试将数据从Teradata移动到Snowflake。创建了一个进程来为每个表运行TPT脚本，为每个表生成文件。

在雪花中运行COPY INTO时，文件也被拆分以实现并发。

需要了解将这些文件从On Prem Linux Machine移动到Azure ADLS的最佳方式。考虑到文件大小为TB。

Azure是否提供任何机制来移动这些文件，或者我们可以直接从Teradata在ADLS上创建文件？

Answer 1

如果您拥有Azure Blob Storage或ADLS Gen2，则通过外部表将数据加载到雪花的最佳方法。将数据加载到blob存储并创建外部表，然后将数据数据加载到雪花。