hdfs 日志节点发出警报"fsync latency concerning"

Question

>我从cloudera管理器收到这些警报。JOURNAL_NODE_FSYNC_LATENCY的运行状况测试结果令人担忧：前一分钟的第 99 个百分位 fsync 延迟为 2.3 秒。警告阈值：1 秒。

我检查了 cloudera 文档，它显示 1 秒是警告，3 秒是关键。这个问题的原因是什么，如何解决这个问题？

Answer 1

原因;日志节点 Fsync 延迟 "JOURNAL_NODE_FSYNC_LATENCY"

这是一个 JournalNode

运行状况测试，用于检查 JournalNode 的 fsync 延迟。如果前一分钟的第 99 个百分位 fsync 延迟高于配置的阈值，则此测试返回"不良"运行状况。较差的 fsync 性能可能表示磁盘损坏或过载（即 JournalNode 与 NameNode 和 DataNode 共享同一磁盘），并将对 NameNode 执行的 HDFS 元数据操作的性能产生负面影响。

如何解决这个问题; 在受影响的节点上使用iostat监控您的磁盘;或将日志节点内容移动到单独的磁盘上。