火花结构化流窗口()函数 - 生成的材料生长超过64 kb

Question

我正在使用Spark结构化流式方法运行以下滑动窗口SQL查询。

"SELECT  WINDOW(record_time, "120 seconds","1 seconds"), COUNT(*) FROM records GROUP BY  WINDOW(record_time, "120 seconds","1 seconds")";

如果我将窗口大小保持在120秒，滑动间隔为1秒：

，我会遇到以下错误

org.codehaus.janino.janinoruntimeException：方法代码" agg_doaggregatewithkeys $（lorg/apache/spark/spark/spark/sql/sql/catalyst/expressions/generatedClass $ generatedIterator;）of Class" of Class of Class of Class" of Class" org.apache.apach.sparke.squarke.sql.sql.sql.catalyst。expressions.generatedClass $ GEDETATEDITERATOR"生长超过64 kb

用于窗口（90s，1s）和窗口（120，2s）的工作正常。

即使我遇到了这个错误，但我仍然在控制台上获得了查询的输出。

可以吗？我应该忽略这个错误吗？

Answer 1

只是尝试说'窗口'。因此，您的查询应该如下：

SELECT  window, COUNT(*) FROM records GROUP BY  WINDOW(record_time, "120 seconds","1 seconds");