正如我从Kafka:权威指南书中所读到的，KafkaConnect可以简化将CSV文件加载到Kafka中的任务。但是，因为我们没有为业务逻辑实现编写任何代码(如Python/Java代码(，如果我想从CSV中获取数据，并添加来自不同来源的许多数据来生成新消息，甚至从系统日志中生成新数据到该新消息，然后再将其加载到Kafka中，我该怎么办？在这个用例中，KafkaConnect仍然是一个好方法吗？
这个答案的来源来自这个Stackoverflow线程：Kafka Connect-在写入HDFS接收器之前修改记录
你有几个选择。
-
单个消息转换，非常适合在消息通过Connect时进行轻量级更改。如果现有的转换不能满足您的需要，则使用所提供的API实现基于配置和可扩展。请参阅此处关于SMT何时适用于给定需求的讨论。
-
KSQL是Kafka的流式SQL引擎。在将数据流发送到HDFS之前，您可以使用它来修改数据流。
-
KSQL建立在Kafka Stream的API之上，这是一个Java库，可以让您随心所欲地转换数据。