在 EC2 中运行时，Flink 不会从 S3 读取文件

Question

我在存储桶内的 S3 中有多个数据。我正在尝试在 EC2 实例中运行我的 Flink 程序。我在 EC2 中确实具有 IAM 角色，并且能够从 S3 读取数据。但是当我运行该程序时，出现以下错误：

Submitting job with JobID: 445b8130e310bcb791afff2301c40b16. Waiting for job completion. No JobSubmissionResult returned, please make sure you called ExecutionEnvironment.execute()

我的 pogram 确实在程序结束时有env.execute()。我几乎可以肯定它无法从S3中获取/读取文件。我的代码如下所示：

DataSet<Tuple2<String, String>> datalines=env.readCsvFile("s3://CopyOfData/Days/") .fieldDelimiter("|") .types(String.class, String.class);

请帮助我如何克服这一点。我的flink-conf.yaml也HADOOP_CONF_DIR设置。

Answer 1

我会首先检查JobManager和TaskManager日志以寻找线索。您还可以查看 AWS 上的 Flink 常见问题列表。

也可能是你需要增加akka.client.timeout。看到这个问题，但简而言之，尝试在flink-conf.yaml中添加类似akka.client.timeout: 600 s的内容。