我如何合并hdfs编辑日志文件



我在NameNode中有20005编辑日志文件,这对我来说是一个很大的数字,是否有办法将它们合并到fimage ?我已经重新启动了NameNode,它没有帮助。

如果您没有为NN启用HA,那么您需要有一个辅助NameNode来完成此操作。

如果你启用了HA,那么你的备用NN会这样做。

如果你有这些,检查它们的日志,看看发生了什么以及为什么失败。您可能没有足够的RAM,并且需要增加这些角色的堆大小,但是在使用日志之前应该对此进行验证。如果你在NN旁边没有这些,那么修复它,它将自动发生,影响检查点时间的相关配置:

dfs.namenode.checkpoint.period (default: 3600s)
dfs.namenode.checkpoint.txns (default: 1 million txn)

您也可以运行以下命令,但这是一个临时修复:

hdfs dfsadmin -safemode enter
hdfs dfsadmin -rollEdits
hdfs dfsadmin -saveNamespace
hdfs dfsadmin -safemode leave
注意:进入safemode后HDFS只读取,直到你离开safemode。

最新更新