有没有任何方法可以在connect HDFS属性中从配置文件传递主题名称、文件名位置。现在,我们传递的主题名称如下:
Topic = <topic_1> , <topic_2>
File location = <File_directory>
如果我们在配置文件中获得主题名称,那么我们需要找到这样传递主题名称的方法:
Topic=cat <config_file> | grep topic_name | cut 1-7
(这是读取配置文件的unix方式。我相信我们必须有一些方法来读取连接HDFS属性中的配置文件(
Kafka Connect将Configuration作为键值对中的Map
对象读取。
topics
和topics.dir
确定文件在HDFS上的写入位置。
如果您想在本地解析实际的配置文件,可以使用grep
或jq
(假设您使用的是分布式连接(