运行作业时出现 AWS Glue 返回错误



我想从存储在 aws redshift 上的数据生成镶木地板文件格式,我已为其创建了连接和爬网程序以获取数据信息。已成功获取所有数据库目录,但在运行作业以获取表数据、生成拼花地板文件并将其存储到 aws s3 时,AWS Glue 给我以下错误:

IP "someIp 地址"的反向 dns 解析失败

但是,我可以成功生成镶木地板文件,其中源数据存储和目标数据存储为 AWS S3。仅当我使用 redshift 集群作为源数据存储和 S3 作为目标数据存储时,才会生成错误。

我知道该错误与 Route53 服务无关,它向我显示错误。我还检查了我的安全组。它还允许 VPC 中的所有入口流量。我还检查了 S3 存储桶和 Redshift 是否位于同一区域。子网也正确。

您需要为红移子网中的所有 IP 创建反向 DNS 记录。

您应该启用DNS主机名和解析。

转到您的 VPC>选择您的 VPC>单击操作>单击编辑 DNS 解析>单击是>然后单击保存

与上述类似,为您的 VPC 启用 DNS 主机名

单击操作>单击编辑DNS主机名>单击是>然后单击保存

尝试将 DNS UDP 的粘附连接的 SG 出口规则设置为 all。协议 UDP,端口 53。

相关内容

  • 没有找到相关文章

最新更新