你能解释一下如何证明期望最大化算法的收敛性吗?
例如,硬币问题的EM:https://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work
EM算法进行最大似然估计。如果你看一下对数可能性,E和M步长并不总是最大化它是不正确的。然而,如果你看一下负自由能函数,它们总是最大化它,尽管相对于不同的东西(有点像坐标下降)。所以是的,EM 算法总是收敛的,即使它可能收敛到坏的局部极值,这是一个不同的问题。
看看经典的论文 www.cs.toronto.edu/~radford/ftp/emk.pdf,自己了解更多。
EM算法并不总是收敛。因此,问题的细节将很重要。