矢量化线性回归

Question

这是我尝试仅使用numpy和线性代数执行线性回归：

def linear_function(w , x , b):
return np.dot(w , x) + b
x = np.array([[1, 1,1],[0, 0,0]])
y = np.array([0,1])
w = np.random.uniform(-1,1,(1 , 3))
print(w)
learning_rate = .0001
xT = x.T
yT = y.T
for i in range(30000):
h_of_x = linear_function(w , xT , 1)
loss = h_of_x - yT
if i % 10000 == 0:
print(loss , w)
w = w + np.multiply(-learning_rate , loss)
linear_function(w , x , 1)

这会导致错误：

ValueError                                Traceback (most recent call last)
<ipython-input-137-130a39956c7f> in <module>()
24     if i % 10000 == 0:
25         print(loss , w)
---> 26     w = w + np.multiply(-learning_rate , loss)
27 
28 linear_function(w , x , 1)
ValueError: operands could not be broadcast together with shapes (1,3) (1,2) 

这似乎适用于降低训练集维数：

import numpy as np
def linear_function(w , x , b):
return np.dot(w , x) + b
x = np.array([[1, 1],[0, 0]])
y = np.array([0,1])
w = np.random.uniform(-1,1,(1 , 2))
print(w)
learning_rate = .0001
xT = x.T
yT = y.T
for i in range(30000):
h_of_x = linear_function(w , xT , 1)
loss = h_of_x - yT
if i % 10000 == 0:
print(loss , w)
w = w + np.multiply(-learning_rate , loss)
linear_function(w , x , 1)
print(linear_function(w , x[0] , 1))
print(linear_function(w , x[1] , 1))

其中返回：

[[ 0.68255806 -0.49717912]]
[[ 1.18537894  0.        ]] [[ 0.68255806 -0.49717912]]
[[ 0.43605474  0.        ]] [[-0.06676614 -0.49717912]]
[[ 0.16040755  0.        ]] [[-0.34241333 -0.49717912]]
[ 0.05900769]
[ 1.]

[ 0.05900769] & [ 1.]接近训练示例，因此看起来此实现是正确的。抛出错误的实现有什么问题？我没有正确实现从 2 -> 3 的维度扩展？

Answer 1

我概述了以下问题：

1. 数组形状不一致。这可能会导致广播/点问题，尤其是在梯度下降期间。修复您的初始化。我还建议用b来增加w，用一列来增加X。

2. 你的损失函数和梯度计算对我来说似乎不对。通常，不建议使用曼哈顿距离作为损失函数，因为它不是足够的距离度量。我会使用欧几里得距离并尝试最小化平方和(这称为 OLS 回归(。然后，我们进行梯度计算，如下所示。

3. 您的更新规则将根据 (2( 进行相应更改。

4. 确保为代码设置停止条件。你不想超过最佳。通常，当渐变变化不大时，您应该停止。

完整列表：

# input, augmented
x = np.array([[1, 1, 1], [0, 0, 0]])
x = np.column_stack((np.ones(len(x)), x))
# predictions
y = np.array([[0, 1]])   
# weights, augmented with bias
w = np.random.uniform(-1, 1, (1, 4))
learning_rate = .0001
loss_old = np.inf
for i in range(30000):  
h_of_x = w.dot(x.T)
loss = ((h_of_x - y) ** 2).sum()
if abs(loss_old - loss) < 1e-5:
break
w = w - learning_rate * (h_of_x - y).dot(x)
loss_old = loss

---

其他建议/增强功能

接下来，考虑在此处使用正则化。L1(脊(和L2(套索(都是不错的选择。

最后，线性回归有一个封闭形式的解，它保证收敛在局部最优(梯度下降只能保证局部最优(。这很快，但计算成本很高(因为它涉及计算逆(。请参阅此处的权衡。

w = y.dot(np.linalg.inv(x.dot(x.T)).dot(x))

当 xT.x 不可逆时，您将需要正则化。

请记住，线性回归只能对线性决策边界进行建模。如果你确信你的实现是正确的，并且你的损失仍然很糟糕，那么你的数据可能无法适应其当前的向量空间，所以你需要非线性基函数来转换它(这实际上是非线性回归(。