最大喷口容量



我正在使用苍鹭在物联网数据上执行流分析。目前在体系结构中只有一个吐出与并行性因子1。

我正在尝试基准基准有关HERON可以在其内部使用的队列中保存的数据量的统计数据。

我通过将值传递给它来使用方法setMaxSpoutpending()。我想知道我们传递给此方法的数字是否有任何限制?

我们可以通过增加系统配置或为拓扑提供更多资源来调整参数方法?

因此,如果您有一个喷口和一个螺栓,则最大吐出待处理是控制未决元素数量的最佳方法。最大喷口待定可以无限期地增加。但是,将其增加超过一定量会增加发生超时错误的可能性,在最坏的情况下,可能没有前进的进展。同样,较高的MSP通常需要拓扑和拓扑的其他组件所需的更多堆。

MSP用于控制拓扑摄入率;它告诉Storm在任何给定时间,可能会未被确定的最大元素数量。如果MSP低于拓扑的并行性,则可以是瓶颈。另一方面,将MSP的增加超出拓扑并行性水平可能会导致拓扑被"洪水",并且无法跟上入站元素。在这种情况下,将超越拓扑的"消息超时",风暴将在仍在喂食新元组的同时重播它们。仅当达到MSP限制时,风暴才会停止进食新的入站元素。

是的,您可以对其进行调整,但请留意增加定时元素,表明您的拓扑不知所措。

btw,如果您正在处理IoT事件,则可以通过使用字段分组将喷嘴元组(tuple stream)分组来增加并行性。

相关内容

  • 没有找到相关文章

最新更新