Scipy 优化:获取函数以打印其迭代

Question

我正在使用scipy.optimize.minimize()来最小化某个函数。我想比较不同方法的性能，BFGS和L-BFGS-B，为此，我希望函数在优化时打印出其值和误差幅度。

实际上，L-BFGS-B会自动执行此操作，如下所示：

At X0         0 variables are exactly at the bounds
At iterate    0    f=  7.73701D+04    |proj g|=  1.61422D+03
At iterate    1    f=  4.33415D+04    |proj g|=  1.16289D+03
At iterate    2    f=  9.97661D+03    |proj g|=  5.04925D+02
At iterate    3    f=  4.10666D+03    |proj g|=  3.04707D+02
....
At iterate  194    f=  3.34407D+00    |proj g|=  3.55117D-04
At iterate  195    f=  3.34407D+00    |proj g|=  3.36692D-04
At iterate  196    f=  3.34407D+00    |proj g|=  9.58307D-04
Tit   = total number of iterations
Tnf   = total number of function evaluations
Tnint = total number of segments explored during Cauchy searches
Skip  = number of BFGS updates skipped
Nact  = number of active bounds at final generalized Cauchy point
Projg = norm of the final projected gradient
F     = final function value
* * *
N    Tit     Tnf  Tnint  Skip  Nact     Projg        F
243    196    205      1     0     0   9.583D-04   3.344D+00
F =   3.34407234824719

有谁知道我如何为BFGS做同样的事情？

注意：这个问题与这里发布的一个更大的问题有关：SciPy 优化：Newton-CG vs BFGS vs L-BFGS，关于在特定优化问题中这两种算法之间的行为之间的分歧。我想追踪这两种算法的分歧。

Answer 1

我在这里找到了答案：如何显示scipy.optimize函数的进度？

optimize.minimize()的callback选项允许我们输入一个可以访问变量的方法，该方法x_n由optimize.minimize()在时间步长n计算 .我们可以使用它来打印数据;我选择写出到外部文件，如下所示：

##Print callback function
def printx(Xi):
global Nfeval
global fout
fout.write('At iterate {0:4d},  f={1: 3.6f} '.format(Nfeval, energy(Xi)) + 'n')
Nfeval += 1
Nfeval = 1
fout = open('BFGS_steps_NN%d' %NN +'.txt','w')
res = minimize(energy, xyzInit, method='BFGS', jac = energy_der, callback=printx, options={'disp': True})
fout.close()

它工作得很好！