我使用 Confluent 安装了源和接收器连接器,它们工作正常。 但是当我看到 docker 日志使用
docker logs -f container-name
输出是这样的
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,573] INFO WorkerSourceTask{id=mariadb-source-0} Finished commitOffsets successfully in 2 ms (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,194] INFO WorkerSinkTask{id=oracle-sink-0} Committing offsets asynchronously using sequence number 1077: {faheemuserdbtest-0=OffsetAndMetadata{offset=7, metadata=''}} (org.apache.kafka.connect.runtime.WorkerSinkTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTas
但是它不是通过主题的实际数据,有没有办法在日志中打印这些数据? 因为我正在将这些日志移动到 Kibana 仪表板。 是的,我可以从 Kafka 主题读取数据,但这不是我的情况。
根据连接器的不同,如果在连接器 Log4j 属性中启用了跟踪日志记录,则可以看到消息。
如果使用 Confluent 的 docker 镜像,有一些CONNECT_LOG4J_LOGGERS
环境变量来控制它
如果你想在Elasticsearch中获取实际的JDBC数据,你通常会安装Elasticsearch接收器,而不是从这些日志中解析出来
。不,您无法在日志中看到该数据。
连接器不会打印复制的实际数据。如果有此类要求,则可能必须更改源和接收器连接器源代码中的日志记录机制,并根据要求对其进行自定义。