目前，我们正在通过c#合并一些输出文件因为我们曾经将这些块放在服务器上的驱动器中但现在我们将直接将这些文件从Snowflake移动到S3 Bucket因此最好将这些文件合并到S3 Bucket上，我们知道AWS有一些函数调用Multipart Upload但是我们不知道我们是否可以使用这个功能将这些文件从Snowflake上传到S3。
此刻我们正在探索的选项,我们发现我们可以创建一个lambda函数合并的文件已经在S3 Bucket的例子,我们发现是由主要是在python和我们的应用程序是在。net我们还发现AWS胶履带但我们不是很确定这个选项,多部分上传可能是一个不错的选择,但我们缺乏经验,这种类型的实现,所以任何帮助或例子是受欢迎的。
AWS Glue Crawler在这种情况下是完美的。
- 使用爬虫获取模式
- 使用Glue ETL作业合并文件并将它们写回S3
- 确保打开作业书签(我将跳过之前合并的文件)
示例:https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-samples-legislators.html