KAFKA流媒体应用程序在一段时间没有读取消息后停止工作



我注意到我的kafka流应用程序在没有从kafka主题中读取新消息的 a时 时停止工作。这是我第三次看到这种情况。

自5天以来,没有向该主题发出任何消息。我的Kafka流媒体应用程序还托管了Spark-Java Web服务器,但仍具有响应速度。但是,我对Kafka主题的消息不再由Kafka流读取。重新启动应用程序时,所有消息将从经纪人中获取。

如何使我的kafka流应用程序更耐用这种情况?感觉到Kafka流具有内部"超时",然后在未收到消息时关闭与Kafka经纪人的连接。我在文档中找不到这样的设置。

我使用kafka 1.1.0和kafka流1.0.0

kafka流没有内部超时来控制何时永久关闭与Kafka代理的连接;另一方面,Kafka经纪人确实具有一定的超时价值来关闭客户的空闲连接。但是,一旦有一些已准备好发送给经纪人的处理结果数据,流将继续尝试重新连接。因此,我怀疑您观察到的问题来自其他一些原因。

您可以分享您的应用程序拓扑草图和使用的配置属性,以便我更好地理解您的问题吗?

最新更新