我对Kafka架构有点困惑。我们想捕获Twitter流API。我们遇到了这个https://github.com/NFLabs/kafka-twitter/blob/master/src/main/java/com/nflabs/peloton2/kafka/producer/TwitterProducer.javaTwitter制作人。
我想的是如何设计系统，使其具有容错性。
如果生产商倒闭，是否意味着我们失去了一些数据？如何防止这种情况发生？
如果链接到的生产者停止运行，来自Twitter API的新数据将不会进入Kafka。我不确定Twitter Streaming API是如何工作的，但它可能会获得历史数据，允许您将所有数据带回生产者失败时的点。
另一种选择是使用KafkaConnect，这是一种分布式容错服务，用于将数据源和接收器连接到Kafka。Connect公开了更高级别的API，并在后台使用一流的生产者/消费者API。该文档对Connect进行了非常彻底的解释，因此请阅读并从中开始。