Kafka 映射消息(使用 Java Spark)

Question

>我有包含 JSON 的 kafka 主题，例如：

{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1236", "jsonData":{.....}}

我的问题是我是否可以在读取自主题期间创建以下哈希映射：

["1234", [list of jsonCode 1234 jsons]
["1235", [list of jsonCode 1235 jsons]
["1236", [list of jsonCode 1236 jsons]

可能吗？如何进行此映射？

我想使用 SparkStreamming 从 Kafka 读取，以获取有关主题的所有未读消息并创建哈希映射

谢谢。

Answer 1

您的代码中是否有任何使用者配置设置。使用者配置通常需要键值对。

在从主题读取时检查，您可以读取键值对的值。通常，您的消费者应该是这样的：

final Consumer<yourKey,yourValue> consumer;  //consumer with consumer config
final ConsumerRecords<String, String> consumerRecords = consumer.poll(pollvals);
consumerRecords.forEach(record -> {
System.out.printf("[Consumer Record:(key - %s,value- %s,partition- %d, offset %d)]n", record.key(),
record.value(), record.partition(), record.offset());
//parse your json from either key or from value
String value=null;
.....     
value = jsonparser(record.value()); // lets parse from value.
...