从头开始线性回归实现

Question

我试图理解梯度下降算法。

有人可以解释为什么我使用以下代码获得高 MSE 值，或者如果我错过了一些概念，你能澄清一下吗？

import numpy as np
import pandas as pd
my_data = pd.DataFrame({'x': np.arange(0,100),
'y': np.arange(0,100)})
X = my_data.iloc[:,0:1].values
y = my_data.iloc[:,1].values
def gradientDescent(X, y, lr = 0.001, n = 1000):
n_samples, n_features = X.shape
cost = []
weight = np.zeros([n_features])
b = 0
for _ in range(n):
# predict
y_hat = np.dot(X, weight) + b # y = ax + b
residual =  y - y_hat
db = -(2/n_samples) * np.sum(residual)
dw = -(2/n_samples) * np.sum(X.T * residual, axis = 1)
# update weights
weight -= (lr * dw)
b -= (lr * db)
cost.append(((y-y_hat) **2).mean())
return weight, b, cost
gradientDescent(X,y)

Answer 1

不是专家，但我认为您目前正在遇到exploding gradient问题。如果您逐步完成代码，您会注意到权重值以递增的步长从正向负摆动。我相信你找不到最小值，因为对这个数据集使用 mse 会导致你来回跳跃，永远不会收敛。你的x和y范围是100，所以当你看到成本时，它只是爆炸。

如果要将 mse 与当前的 x 和 y 值一起使用，则应规范化数据。您可以通过减去平均值并除以标准差来做到这一点，或者只是将 x 和 y 归一化为 1。

例如：

my_data.x = my_data.x.transform(lambda x: x / x.max())
my_data.y = my_data.y.transform(lambda x: x / x.max())

如果这样做，您应该会看到您的成本在足够的迭代中收敛到 ~0。