如何在Deequ ColumnProfileRunner中筛选具有列约束的行

Question

我是Scala和Spark的新手。我正在探索用于数据分析的AmazonDeequ库。

使用ColumnProfilerRunner((时，如何获取具有特定值的行数？

AnalysisRunner有一个"符合性"选项，我正在寻找一个类似的选项来筛选符合给定列约束的行。

我有多个列，因此我想动态检查，而不是使用列名。

感谢您的帮助。

感谢

Answer 1

Deequ的列探查器计算一组固定的统计信息。如果您想计算数据的自定义统计信息，您应该使用VerificationSuite。查看deequ的github页面上的示例。