使用Glue job从Elastic search导出数据到S3

Question

我希望使用AWS Glue ETL将数据从ultrawarm Elastic search传输到源区域的s3。我很难找到关于它的文档。有人能帮我一下吗?

Answer 1

您可以使用自定义连接类型custom.spark，然后将配置选项设置为以前缀es开头的OpenSearch。阅读更多关于它的信息，并查看文档中的示例。

替代

1. 如果你有选择的话，最好直接从应用程序推送到S3，而不是从OpenSearch获取数据到S3。

2. 对于完全转储，使用elasticsearch-dump命令将数据从OpenSearch集群复制到AWS S3桶中。对于输入，使用OpenSearch SERVICE_URI。对于输出，选择Amazon S3路径，其中包括您希望用于文档的文件名。