Julia ReverseDiff:如何只取输入子集的梯度?

Question

在我的数据流中，我查询数据库的一小部分，使用这些结果构造大约十几个数组，然后，给定一些参数值，计算一个似然值。然后对数据库的子集重复此操作。我想计算似然函数相对于参数的梯度，而不是数据。但是 ReverseDiff 计算相对于所有输入的梯度。我该如何解决这个问题？具体来说，如何构造一个 ReverseDiff.Tape 对象

TL;DR：如何将随机梯度下降和反向差异结合起来？(我不执着于使用ReverseDiff。它似乎是这项工作的正确工具。

似乎这必须是一种常见的编码模式。它一直在我的领域使用。但我错过了一些东西。Julia 的范围规则似乎破坏了作用域/匿名函数方法，ReverseDiff 保留了生成的磁带中的原始数据值，而不是使用突变值。

一些不起作用的示例代码

using ReverseDiff
using Base.Test

mutable struct data
X::Array{Float64, 2}
end
const D = data(zeros(Float64, 2, 2))
# baseline known data to compare against
function f1(params)
X = float.([1 2; 3 4])
f2(params, X)
end
# X is data, want derivative wrt to params only
function f2(params, X)
sum(params[1]' * X[:, 1] - (params[1] .* params[2])' * X[:, 2].^2)
end
# store data of interest in D.X so that we can call just f2(params) and get our
# gradient
f2(params) = f2(params, D.X)
# use an inner function and swap out Z's data
function scope_test()
function f2_only_params(params)
f2(params, Z)
end
Z = float.([6 7; 1 3])
f2_tape = ReverseDiff.GradientTape(f2_only_params, [1, 2])
Z[:] = float.([1 2; 3 4])
grad = ReverseDiff.gradient!(f2_tape, [3,4])
return grad
end
function struct_test()
D.X[:] = float.([6 7; 1 3])
f2_tape = ReverseDiff.GradientTape(f2, [1., 2.])
D.X[:] = float.([1 2; 3 4])
grad = ReverseDiff.gradient!(f2_tape, [3., 4.])
return grad
end
function struct_test2()
D.X[:] = float.([1 2; 3 4])
f2_tape = ReverseDiff.GradientTape(f2, [3., 4.])
D.X[:] = float.([1 2; 3 4])
grad = ReverseDiff.gradient!(f2_tape, [3., 4.])
return grad
end
D.X[:] = float.([1 2; 3 4])
@test f1([3., 4.]) == f2([3., 4.], D.X)
@test f1([3., 4.]) == f2([3., 4.])
f1_tape = ReverseDiff.GradientTape(f1, [3,4])
f1_grad = ReverseDiff.gradient!(f1_tape, [3,4])
# fails! uses line 33 values
@test scope_test() == f1_grad
# fails, uses line 42 values
@test struct_test() == f1_grad
# succeeds, so, not completely random
@test struct_test2() == f1_grad

Answer 1

这目前是不可能的(可悲的是(。两个解决方法存在 GitHub 问题： https://github.com/JuliaDiff/ReverseDiff.jl/issues/36

• 要么不使用预先录制的磁带
• 或相对于所有参数进行区分，并忽略某些输入参数的梯度。

我遇到了同样的问题，我改用了 Knet 的 grad 函数。我只支持相对于一个参数的微分，但这个参数可以非常灵活(例如数组数组或字典或数组(。

Answer 2

谢谢亚历克斯，你的答案是 90% 的。AutoGrad(Knet在撰写本文时使用的(确实提供了一个非常好的界面，我认为这对大多数用户来说是很自然的。然而，事实证明，将匿名函数与 ReverseDiff 一起使用比 AutoGrad 采用的方法更快，原因我不太明白。

如果您遵循链接中引用的问题链，这似乎是ReverseDiff/ForwardDiff人员希望人们做的事情：

ReverseDiff.gradient(p -> f(p, non_differentiated_data), params)

当然令人失望的是，我们无法获得具有这种令人难以置信的常见使用场景的预编译磁带，也许未来的工作会改变事情。但这似乎是现在的情况。

有兴趣进一步阅读的人的一些参考资料：

• https://github.com/JuliaDiff/ForwardDiff.jl/issues/77
• https://github.com/JuliaDiff/ForwardDiff.jl/issues/32
• https://github.com/JuliaDiff/ForwardDiff.jl/pull/182