AWS Glue Job Failed:调用o71.getDynamicFrame发生错误.SdkClientExcep



我试图创建一个简单的Glue作业,将数据从S3移动到我的Redshift集群用于测试目的,但得到以下错误。调用o71.getDynamicFrame时发生错误。连接到.s3.amazonaws.com [.s3.amazonaws.com/***] failed: connect timed out.

S3和Redshift的爬虫以及Redshift连接都成功工作。我有一个角色,我正在使用它有AmazonS3FullAccess, AWSGlueServiceRole和AmazonRedshiftFullAccess。我也有一个到S3的端点,我的VPC有一个给自己权限的安全组。

关于这个错误的含义和解决方法有什么帮助吗?

感谢

上次遇到这种情况是因为我将作业部署到公共子网。由于胶水作业只有一个私有IP地址,它无法路由到互联网网关。然而,将作业部署到私有子网,并带有到NAT网关的路由,还是有效的。

超时通常发生在没有互联网接入的情况下。正如Abdul所提到的,请确保您的胶水连接是否使用私有子网。

另外,确保您有一个VPC端点"com.amazonaws.us- east1.03 "并将以下入站和出站规则附加到关联的安全组。

自引用入站规则:类型":"所有TCP";协议";TCP";端口范围";0-65535";目的地";}

出站规则:{"类型";所有流量";协议"; "All ";端口范围"; "All ";目的地";}

如果问题仍然存在,那么我们将不得不查看Internet Gateway的配置。

最新更新