从Azure Synapse笔记本访问S3文件

Question

目标：使用Azure Synapse将大量文件从AWS S3移动到ADLS Gen2，使用Synapse Notebook使用参数化regex表达式进行文件名模式。

到目前为止我尝试了什么：

1. 我知道要访问ADLS gen2，我们可以使用mssparkutils.fs.ls('abfss://container_name@storage_account_name.blob.core.windows.net/foldername')工作，但什么等效于访问S3
2. 我使用mssparkutils.credentials.getsecret('AKV名称'，'secretname')和mssparkuutils.credentials.getsecret['AKV名称]，'secret密钥id')在Synapse笔记本中获取机密详细信息，但无法将S3配置为Synapse

问题：我是否必须使用凭据.getFullConnectionString(LinkedService)API来使用现有的链接服务？简而言之，我的问题是，如何在Synapse笔记本中配置到S3的连接？

Answer 1

在这里回答我的问题。AzCopy成功了。下面是帮助我完成任务的链接。步骤如下。

1. 在您的机器上安装AzCopy
2. 转到您的终端并转到安装可执行程序的目录；运行"；AzCopy登录"；；使用来自终端消息的链接在浏览器中使用Azure Active Directory凭据。。使用终端中提供的CODE
3. 使用下面的S3进行授权设置AWS_ACCESS_KEY_ID=设置AWS_SECRET_ACCESS_KEY=
4. 对于ADLS Gen2，您已经完成了第2步
5. 使用下面链接中的命令(适合您的需要)

https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10

https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-s3