flink 可以使用固定数字键来键通过数据流均匀地避免数据倾斜吗?



我设置了键按视差30,如何找到30个唯一键来使数据流键均衡?flink 支持这个吗?因为我不想要太多的键,并且我会在 influxdb 中将键作为标签,所以我不想太多键,避免在 influxdb 中使用 oom。但是,如何使用最小密钥来均匀地键入数据流呢?

我想使用 Flink 来跟踪 MySQL 中表上的每个更改(例如更新/插入(,并且我将计算每秒每个表的更改次数.但是有些表的更改太多导致 Keyby 数据倾斜,所以我想使用 Fixed Number Key 来对 Keyby 流进行负载均衡。

从技术上讲可以,但从您的问题中,我知道您实际上不需要使用keyBy(),您只想这样做来重新平衡流。在这种情况下,您可以轻松地在DataStream上使用rebalance(),这将导致使用轮询算法对流进行分区,这确实会导致负载均匀分布。

相关内容

  • 没有找到相关文章

最新更新