我正在尝试将Levenberg-Marquardt算法实现为Keras优化器，如此处所述，但我有几个问题，最大的一个是这个错误
TypeError: Tensor objects are not iterable when eager execution is not enabled. To iterate over this tensor use tf.map_fn.
快速搜索后，我发现这与 tensorflow 如何运行带有我不了解详细信息的图形的程序有关。我发现这个答案从 SO 很有用，但它是关于损失函数，而不是优化器。
所以切中要害。
我的尝试如下所示：
from keras.optimizers import Optimizer
from keras.legacy import interfaces
from keras import backend as K
class Leveberg_Marquardt(Optimizer):
def __init__(self, tau =1e-2 , lambda_1=1e-5, lambda_2=1e+2, **kwargs):
super(Leveberg_Marquardt, self).__init__(**kwargs)
with K.name_scope(self.__class__.__name__):
self.iterations = K.variable(0, dtype='int64', name='iterations')
self.tau = K.variable(tau,name ='tau')
self.lambda_1 = K.variable(lambda_1,name='lambda_1')
self.lambda_2 = K.variable(lambda_2,name='lambda_2')
@interfaces.legacy_get_updates_support
def get_updates(self, loss, params):
grads = self.get_gradients(loss,params)
self.updates = [K.update_add(self.iterations,1)]
error = [K.int_shape(m) for m in loss]
for p,g,err in zip(params,grads,error):
H = K.dot(g, K.transpose(g)) + self.tau * K.eye(K.max(g))
w = p - K.pow(H,-1) * K.dot(K.transpose(g),err) #ended at step 3 from http://mads.lanl.gov/presentations/Leif_LM_presentation_m.pdf
if self.tau > self.lambda_2:
w = w - 1/self.tau * err
if self.tau < self.lambda_1:
w = w - K.pow(H,-1) * err
# Apply constraints.
if getattr(p, 'constraint', None) is not None:
w = p.constraint(w)
self.updates.append(K.update_add(err, w))
return self.updates
def get_config(self):
config = {'tau':float(K.get_value(self.tau)),
'lambda_1':float(K.get_value(self.lambda_1)),
'lambda_2':float(K.get_value(self.lambda_2)),}
base_config = super(Leveberg_Marquardt, self).get_config()
return dict(list(base_config.items()) + list(config.items()))
Q1 我可以在不深入张量流的情况下修复此错误吗(我希望我可以通过保持在 Keras 级别来做到这一点(
Q2 我是否正确使用 keras 后端？
我的意思是，在这一行中
H = K.dot(g, K.transpose(g)) + self.tau * K.eye(K.max(g))
我应该使用 keras 后端函数，或 numpy 或纯 python 来运行此代码而不会出现问题，输入数据是 numpy 数组？
Q3 这个问题更多的是关于算法本身。
我甚至正确实施了 LMA 吗？我必须说，我不知道如何处理边界条件，我猜到的tau/lambda值，也许你知道更好的方法？
我试图了解 keras 中所有其他优化器的工作原理，但即使是 SGD 代码对我来说看起来也模棱两可。
Q4 我需要以任何方式更改本地文件 optimizers.py 吗？
为了正确运行它，我使用以下方法初始化我的优化器：
myOpt = Leveberg_Marquardt()
然后简单地将其传递给合规方法。然而，在快速查看了 optimizers.py 的源代码后，我发现 thera 是代码中带有优化器显式写名的地方(例如反序列化函数(。为我的自定义优化器扩展它很重要，还是我可以保留它？
我非常感谢任何帮助和未来行动的方向。
Q1 我可以在不深入张量流的情况下修复此错误吗(我希望我 可以通过保持在 Keras 级别来做到这一点(
A1我相信即使修复了此错误，keras 不支持的算法的实现仍然存在问题，例如，文档中的错误项f(x;w_0)-y对 keras 优化器不可用。
Q2 我是否正确使用 keras 后端？
A2是的，您必须使用 keras 后端进行此计算，因为g是一个张量对象而不是 numpy 数组。但是，我认为应该H = K.dot(K.transpose(g), g)对H的正确计算，取Nx1向量g并执行外积以产生NxN矩阵。
Q3 这个问题更多的是关于算法本身。
A3 如A1中所述，我不确定 keras 是否支持此算法所需的输入。
Q4 我需要以任何方式更改本地文件 optimizers.py 吗？
A4如果作为 keras 模型编译函数的优化器参数提供，则提供的代码行将运行优化器。为方便起见，keras 库支持按名称调用内置类和函数。