协方差不是正定的

Question

我正在尝试计算给定数据的样本协方差。

我写的代码是：

def calcCov(x):
    m, n = x.shape
    mean = np.mean(x, axis=0)
    cov = np.zeros((n, n))
    for j in range(0, n):
        for k in range(0, n):
            sum = 0
            for i in range(0, m):
                sum += (x[i, j] - mean[j])*(x[i, k] - mean[k])
            cov[j, k] = sum / (m - 1.0)
    return cov

这不是最有效的方法，但它很简单，并且是https://en.wikipedia.org/wiki/sample_mean_mean_and_covariance#sample_covariance to to My Forest of My Inspceact的直接副本。

协方差矩阵始终是阳性的半芬矿。但是，当我计算特征值（带有np.eig）时，我有时会看到负特征值。

例如代码

data = np.random.rand(2, 2)
print data
cov = calcCov(data)
eigvals, eigvec = np.linalg.eig(cov)
print cov
print eigvals

打印输出

[[ 0.12873309  0.92079275]
 [ 0.90018866  0.73197021]]
[[ 0.29757185 -0.0728341 ]
 [-0.0728341   0.01782698]]
[  3.15398823e-01  -3.46944695e-18]

作为数学家，非常令人不安。为什么会发生这种情况？简单的数值错误？我在计算协方差时犯了一个错误？

Answer 1

首先，我建议使用numpy的协方差函数，因为它会更有效：https：//docs.scipy.org/doc/doc/numpy-1.10.1/reference/generated/numpy.cov.html

给定您拥有的"负"特征值是E-18，可以将其考虑为0到数值错误是公平的。