当代理不可用时，如何忽略 Log4j2 Kafka 追加器警告消息?

Question

我有一个使用 log4j2 记录到控制台的 java 应用程序。我希望以同步的方式将特定的日志消息从我的 java 应用程序发送到 kafka 服务器，同时仍然将其他日志发送到控制台。但是，当 Kafka 服务器不可用时，控制台会充斥着"代理可能不可用"警告消息，并且其他应该转到控制台的日志似乎在队列中等待，直到客户端超时。

我正在按照 log4j2 文档中的说明使用 VM 选项进行异步日志记录

-Dlog4j2.contextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector

我尝试在 Kafka 追加器上将 syncSend 设置为 false，用 AsyncAppender 包装它，但似乎没有任何效果。

这是重现问题的示例

package main;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.apache.logging.log4j.Marker;
import org.apache.logging.log4j.MarkerManager;
public class Main {
public static void main(String[] args) {
Logger logger = LogManager.getLogger();
Marker kafkaMarker = MarkerManager.getMarker("KAFKA");
logger.info("someErrorMessage");
logger.info(kafkaMarker, "someKafkaMessage");
for (int i = 0; i < 100; i++) {
logger.info("someErrorMessage: " + i);
}
}
}

绒球.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>untitled</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<log4j2.version>2.13.3</log4j2.version>
<java.version>1.8</java.version>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-log4j-appender</artifactId>
<version>2.0.1</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.0.1</version>
</dependency>
<dependency>
<groupId>com.lmax</groupId>
<artifactId>disruptor</artifactId>
<version>3.4.2</version>
</dependency>
</dependencies>
</project>

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="INFO" strict="true">
<Properties>
<Property name="LOG_PATTERN">
%c.%M %m %ex%n
</Property>
</Properties>
<Appenders>
<Console name="ConsoleAppender" target="SYSTEM_OUT">
<Layout type="PatternLayout" pattern="${LOG_PATTERN}"/>
</Console>
<Kafka name="KafkaAppender" topic="logProducer" syncSend="false">
<Property name="bootstrap.servers">localhost:9092</Property>
<MarkerFilter marker="KAFKA" onMatch="ACCEPT" onMismatch="DENY"/>
<Layout type="PatternLayout" pattern="${LOG_PATTERN}"/>
</Kafka>
<Async name="AsyncKafkaAppender">
<AppenderRef ref="KafkaAppender"/>
</Async>
</Appenders>
<Loggers>
<Root level="info">
<AppenderRef ref="KafkaAppender" />
<AppenderRef ref="ConsoleAppender" />
</Root>
</Loggers>
</Configuration>

Answer 1

这里有几个问题。

1. 您可以减小 max.block.ms 参数以避免阻塞时间过长。实际上，在非常快的网络中，您可以降至500甚至100毫秒。
2. 您可以为 kafka 类设置非常高的日志级别，非常有选择性，它会发送错误，因此您不会收到警告。但是我不建议这样做。

<Logger name="org.apache.kafka" level="ERROR" additivity="false"><AppenderRef ref="Console"/></Logger>

使用像org.apache.kafka这样的名称，你可以更深入地进行选择性日志记录。重要的是将可加性设置为 false。

最后，我肯定会注意，Kafka Broker是高可用性的。