小贝子编程

如何计算火花中给定数据集的皮尔逊相关系数



我有spark DataFrame，其中有2个col，让我们来看看col1和col2的双数据类型。我想用标量计算Pearson相关系数(在spark会话中(。

假设您的DataFrame被称为"df"；。为了计算2列之间的pearson相关性，您只需执行以下操作：

df.corr("col1", "col2", "pearson")

相关内容

最新更新


热门标签：

javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium