我们使用cloudera CDH 5.3。我正面临一个问题，其中"/dfs/dn/current/Bp-12345-IpAddress-123456789/dncp-block-verification.log"的大小。和"dncp-vlock-verification.log"。"结核病"在数小时内不断增加。我读了一些博客，他们提到这是HDFS的错误。这个问题的临时解决方案是停止datanode服务并删除这些文件。但是我们已经观察到，日志文件在任何一个数据节点上的大小都会增加(即使在删除日志文件后在同一节点上也是如此)。因此，需要持续监控。
谁有解决这个问题的长久之计?一个解决方案，虽然有点极端，是完全禁用块扫描仪，通过在HDFS DataNode配置中设置密钥dfs.datanode.scan.period.hours到0(默认是504，以小时为单位)。这样做的负面影响是，您的DNs可能无法自动检测损坏的块文件(并且需要等待将来的块读取客户端来检测它们);如果您的平均复制是3个左右，这不是什么大问题，但您可以将此更改视为短期更改，直到升级到修复问题的版本。
请注意，如果您升级到最新的CDH 5.4，则不会发生此问题。x或更高版本，其中包括HDFS-7430重写更改和相关的错误修复。这些更改已经不再使用这样的本地文件，从而消除了这个问题。