>我在 R 中实现了梯度下降算法,以找到函数 f(x)=1−xe−x 的最小值,该函数工作得很好,给我 [1] 1 作为输出,但不断迭代直到所有 30.000 次迭代结束,即使迭代之间只有轻微的变化(小数点后面的许多数字)。
如何在代码中添加一些函数,一旦最后两次迭代非常相似,就会终止它?
这是我的代码:
# learning rate
epsilon = 0.02
# set up a number of iteration
iter = 30000
# define the gradient of f(x) with given f'(x)
gradient = function(x) return(-exp(-x) + x * exp(-x))
# randomly initialize the x
x = 8
# create a vector to contain all xs for all steps
x.All = vector("numeric",iter)
# gradient descent method to find the minimum
for(i in 1:iter){
x = x - epsilon*gradient(x)
x.All[i] = x
print(x)
}
我尝试了诸如添加以下内容之类的事情,但没有效果。
round (x, digits = 3)
if (x == x - epsilon*gradient) {
break}
我想因为浮点数 x 永远不会等于 x - epsilon*梯度?
您考虑的停止规则存在问题:
if (x == x - epsilon*gradient) break
仅当epsilon * gradient
正好为零时,才会满足该条件,但当该数量足够接近零时,循环应停止。例如,如果espilon=1
并将eps2
定义为一个小数(0.0001),则
if (abs(gradient(x)) < eps2) break
会工作。