Flink作业无法与Openstack swift连接



我们有一个Flink作业,当在高可用性模式下运行时,需要使用S3 API连接到Openstack swift进行状态存储。该图像具有flink-s3-fs-hadoop插件和flink-conf.yaml,以包括以下详细信息


s3.path.style.access: true
s3.endpoint: <S3 endpoint Url>
s3.access-key: <swift account name>
s3.secret-key: <S3 API key>
high-availability.storageDir: s3a://<container name>/<folder name>

问题是,当flink尝试连接到high-availability.storageDir时,它会收到一个400错误的请求响应。我也尝试过flink-s3-fs-presto,得到了同样的回应。是否需要额外的配置才能使其工作。

Flink版本:1.13.6

swift版本:2.24.0.3-1.el7

您是否还需要配置HA所需的其他参数?每https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/deployment/ha/kubernetes_ha/,我不知道你是否有high-availabilitykubernetes.cluster-id,包括你的flink-conf.yaml

最新更新