两个大型2d列表之间的python快速均方误差

Question

我想计算两个非常大的2d数组之间的mse。

x1 = [1,2,3]
x2 = [1,3,5]
x3 = [1,5,9]
x = [x1,x2,x3]
y1 = [2,3,4]
y2 = [3,4,5]
y3 = [4,5,6]
y = [y1,y2,y3]

预期结果是大小为3:的矢量

[mse(x1,y1), mse(x2,y2), mse(x3,y3)]

就目前而言，我正在使用sklearn.metrics.mean_squared_error：

mses = list(map(mean_squared_error, x, y))

这需要非常长的时间，因为xi和yi的实际长度是115，我在x/y中有超过一百万个向量。

Answer 1

您可以使用numpy。

a = np.array(x) # your x
b = np.array(y) # your y
mses = ((a-b)**2).mean(axis=1)

如果要使用x和y。

a = np.random.normal(size=(1000000,100))
b = np.random.normal(size=(1000000,100))
mses = ((a-b)**2).mean(axis=1)

对于您指定的矩阵大小(1000 000 x 100(，这在我的机器上只需要不到一秒钟的时间。