AWS EMR上的YARN日志聚合-不支持FileSystemException



我正在努力为我的Amazon EMR集群启用YARN日志聚合。我遵循以下配置文档:

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-debugging.html#emr-计划调试日志存档

在标题为"使用AWS CLI在Amazon S3中聚合日志"的部分下。

我已经验证了hadoop-config-bootstrap操作将以下内容放入yarn-site.xml

<property><name>yarn.log-aggregation-enable</name><value>true</value></property>
<property><name>yarn.log-aggregation.retain-seconds</name><value>-1</value></property>
<property><name>yarn.log-aggregation.retain-check-interval-seconds</name><value>3000</value></property>
<property><name>yarn.nodemanager.remote-app-log-dir</name><value>s3://mybucket/logs</value></property>

我可以运行一个示例作业(hadoop-examples.jar中的pi),并看到它在ResourceManager的GUI上成功完成。

它甚至在s3://mybucket/logs下创建了一个用应用程序id命名的文件夹。但该文件夹是空的,如果我运行yarn logs -applicationID <applicationId>,我会得到一个stacktrace:

14/10/20 23:02:15 INFO client.RMProxy: Connecting to ResourceManager at /10.XXX.XXX.XXX:9022
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No AbstractFileSystem for scheme: s3
    at org.apache.hadoop.fs.AbstractFileSystem.createFileSystem(AbstractFileSystem.java:154)
    at org.apache.hadoop.fs.AbstractFileSystem.get(AbstractFileSystem.java:242)
    at org.apache.hadoop.fs.FileContext$2.run(FileContext.java:333)
    at org.apache.hadoop.fs.FileContext$2.run(FileContext.java:330)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
    at org.apache.hadoop.fs.FileContext.getAbstractFileSystem(FileContext.java:330)
    at org.apache.hadoop.fs.FileContext.getFSofPath(FileContext.java:322)
    at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:85)
    at org.apache.hadoop.fs.FileContext.listStatus(FileContext.java:1388)
    at org.apache.hadoop.yarn.logaggregation.LogCLIHelpers.dumpAllContainersLogs(LogCLIHelpers.java:112)
    at org.apache.hadoop.yarn.client.cli.LogsCLI.run(LogsCLI.java:137)
    at org.apache.hadoop.yarn.client.cli.LogsCLI.main(LogsCLI.java:199) 

这对我来说毫无意义;我可以运行hdfs dfs -ls s3://mybucket/,它列出的内容也很好。机器正在从AWS IAM角色获取凭据,我尝试将fs.s3n.awsAccessKeyId等添加到core-site.xml中,而不会改变行为。

如有任何建议,不胜感激。

Hadoop提供了两个fs接口——FileSystem和AbstractFileSystem。大多数时候,我们使用FileSystem,并使用像fs.s3.impl这样的配置选项来提供自定义适配器。

然而,yarn logs使用AbstractFileSystem接口。

如果您能为S3找到它的实现,那么您可以使用fs.AbstractFileSystem.s3.impl指定它。

有关fs.AbstractFileSystem.hdfs.impl等的示例,请参阅core-default.xml。

相关内容

  • 没有找到相关文章

最新更新