Spark Scala-如何从Datarame中拒绝不良记录(畸形)并将这些被拒绝的记录保存在新文件中

Question

我正在创建一个简单的spark流作业，从Kafka读取数据并加载到数据库表中。但有时由于记录不正确或数据类型不匹配而导致作业失败。在这种情况下调试和指出有问题的偏移是非常困难的。是否有一种方法，而加载DF表，我可以重定向错误的行到一个单独的文件进行进一步分析。

感谢

Answer 1

我强烈建议不要写文件，因为这会导致应用程序的性能显著下降。创建一个单独的Kafka主题，记录错误，并从那里读取调试。