Pearsonr 具有两个具有 nan 值的数组

Question

我有两个数组，其值对应于一年中的日期。我试图找到数组 a 和 b 之间的相关系数，当两个数组都有值时。对于两个数组，许多值都是 nan。

from scipy import stats 
import numpy as np   
dates = np.array([2/3, 2/4, 2/5, 2/8, 2/9, 2/10, 2/11])
a = np.array([-9999., 4, 6, 7, -9999., 8, -9999.])
b = np.array([3, -9999., 5, 8, -9999., 7, 9])
a[a==-9999] = np.nan
b[b==-9999] = np.nan
r,p= stats.mstats.pearsonr(a,b)

在这种情况下，只有第 2、3 和 5 个索引可用于此计算，因为两个数组都有非 nan 值。我已经想出了如何删除nans，但是当我这样做时，弄乱了索引。所以这对我没有用。

Answer 1

我只是将两个数组组合成一个数组：

c = np.vstack([a,b])
>>> array([[nan,  4.,  6.,  7., nan,  8., nan],
[ 3., nan,  5.,  8., nan,  7.,  9.]])

删除包含任何 NaN 的任何列

d = c[:,~np.any(np.isnan(c), axis=0)]
>>> array([[6., 7., 8.],
[5., 8., 7.]])

然后使用 scipy 计算相关性：

r,p= stats.mstats.pearsonr(d[0],d[1])
>>> 0.6546536707079772 0.54562894834299

或 numpy：

np.correlate(d[0],d[1])
>>> 0.654653670707977