KSQL-确定何时加载表

Question

如何确定KSQL何时将Kafka主题中的数据完全加载到表中？

目标：选取2个卡夫卡主题，加入它们，并将结果写入一个新的卡夫卡主题。

示例：

我正在使用Ksql的Rest API来发出以下命令。

CREATE TABLE MyTable (A1 VARCHAR, A2 VARCHAR) WITH (kafka_topic='topicA', key='A1', value_format='json');
CREATE STREAM MyStream (B1 varchar, B2 varchar) WITH (kafka_topic='topicB', value_format='json');
CREATE STREAM MyDestination WITH (Kafka_topic='topicC', PARTITIONS = 1, value_format='json') AS SELECT a.A1 as A1, a.A2 as A2, b.B1 as B1, b.B2 as B2 FROM  MyStream b left join MyTable a on a.A1 = b.B1;

问题：topicC只有来自topicB的数据，并且所有联接的值都为null。

尽管我从createtable命令中收到SUCCESS状态，但数据似乎尚未完全加载到表中。因此，第三命令的结果仅具有来自流的数据，而不包括来自表的数据。如果在执行联接命令之前人为地延迟，则生成的主题将正确地包含来自这两个主题的数据。如何确定表何时加载，以及执行联接命令是否安全？

Answer 1

这确实是一个很好的问题。在这一点上，KSQL没有办法只在表完全加载后自动执行流表联接。这确实是一个有用的功能。这里讨论了一个更为普遍和相关的问题：https://github.com/confluentinc/ksql/issues/1751

Answer 2

KSQL中的表(以及底层Kafka Streams(有一个时间维度，即随时间的演变。对于流表联接，每个流记录都与"正确"的表版本联接(即，表按时间进行版本控制(。

在即将发布的CP 5.1版本中，您可以通过确保表主题的所有记录时间戳都小于流主题的记录时间戳来"预加载"表。这告诉KSQL，它需要首先处理表主题数据，但在开始加入之前相应地提前表时间戳版本。

有关更多详细信息，请查看：https://www.confluent.io/resources/streams-tables-two-sides-same-coin