我有代码可以将数据从SQL Server上传到snowflake。步骤：
- 从SQL server加载数据&创建CSV文件和数据
- 将CSV上传到Snowflake暂存表&然后处理分段&将数据推送到实际的表中
这很好用。现在我想处理数百万条记录。这样做的有效方法是什么？如何处理批次？我正在使用WEB API 2.0
感谢
- 创建要上传的数据库的csv文件
- 将csv文件上传到AWS(S3 bucket(
- 将数据从S3 bucket上传到snowflake更多详细信息