将数据添加到状态存储以进行有状态处理和容错

Question

我有一个微服务可以执行一些有状态的处理。应用程序从输入主题构造KStream，进行一些有状态处理，然后将数据写入输出主题。

我将在同一组中运行其中的3个应用程序。当微服务关闭时，我需要在事件中存储3个参数，接管的微服务可以查询共享状态存储，并在崩溃服务停止的地方继续。

我正在考虑将这3个参数推送到状态存储中，并在其他微服务接管时查询数据。从我的研究中，我看到了很多使用状态存储执行事件计数的例子，但这并不是我想要的，有人知道这个例子吗？或者解决这个问题的正确方法是什么？

Answer 1

所以你想做两件事：

a。关闭的服务必须存储参数：
如果您想以简单的方式执行此操作，您所要做的就是在与状态存储相关的主题中写入一条消息(您正在使用KTable读取的主题(。使用Kafka Producer API或KStream(可以是kTable.toStream()(来完成它，就这样

否则，您可以手动创建一个状态存储：

// take these serde as just an example
Serde<String> keySerde = Serdes.String();
Serde<String> valueSerde = Serdes.String();
KeyValueBytesStoreSupplier storeSupplier = inMemoryKeyValueStore(stateStoreName);
streamsBuilder.addStateStore(Stores.keyValueStoreBuilder(storeSupplier, keySerde, valueSerde));

然后在转换器或处理器中使用它来向其添加项目；您必须在转换器/处理器中声明：

// depending on the serde above you might have something else then String
private KeyValueStore<String, String> stateStore;

并初始化stateStore变量：

@Override
public void init(ProcessorContext context) {
stateStore = (KeyValueStore<String, String>) context.getStateStore(stateStoreName);
}

然后使用stateStore变量：

@Override
public KeyValue<String, String> transform(String key, String value) {
// using stateStore among other actions you might take here
stateStore.put(key, processedValue);
}

b。读取接管服务中的参数：
您可以使用Kafka消费者，但使用KafkaStreams，您必须首先使存储可用；最简单的方法是创建KTable；然后您必须获得KTable自动创建的可查询存储名称；然后你必须真正进入商店；然后从存储中提取一个记录值(即按其键提取一个参数值(。

// this example is a modified copy of KTable javadocs example
final StreamsBuilder streamsBuilder = new StreamsBuilder();
// Creating a KTable over the topic containing your parameters a store shall automatically be created.
//
// The serde for your MyParametersClassType could be 
// new org.springframework.kafka.support.serializer.JsonSerde(MyParametersClassType.class) 
// though further configurations might be necessary here - e.g. setting the trusted packages for the ObjectMapper behind JsonSerde.
//
// If the parameter-value class is a String then you could use Serdes.String() instead of a MyParametersClassType serde.
final KTable paramsTable = streamsBuilder.table("parametersTopicName", Consumed.with(Serdes.String(), <<your InstanceOfMyParametersClassType serde>>));
...
// see the example from KafkaStreams javadocs for more KafkaStreams related details
final KafkaStreams streams = ...;
streams.start()
...
// get the queryable store name that is automatically created with the KTable
final String queryableStoreName = paramsTable.queryableStoreName();
// get access to the store
ReadOnlyKeyValueStore view = streams.store(queryableStoreName, QueryableStoreTypes.timestampedKeyValueStore());
// extract a record value from the store
InstanceOfMyParametersClassType parameter = view.get(key);