为什么我的逻辑回归迭代重加权最小二乘算法的权重总是以NaN结束

Question

我正试图为人脸识别的逻辑回归（图像表示为19x19灰度图像）编写一个迭代重加权最小二乘算法，但权重总是以NaN结束。

w_new = zeros(361,1);
for i = 1:35 % 100-fold cross-validation of 3480 samples
    [ phi, t, ~, ~ ] = removeRows100FoldCV(i, trainx, traint);
    t( t == -1 ) = 0;
    while(true)
        w_old = w_new;
        y = computeYs(w_old, phi);
        R = generateR(y);
        w_new = w_old - inv(phi' * R * phi) * phi' * (y - t);
        if onlyMarginalChangesInW(w_new, w_old) == true
            break;
        end
    end
end

目标向量t最初是1或-1，这取决于是否表示面部的图像。

y的计算：

function [ y ] = computeYs( w, phi )
y = zeros(size(phi,1), 1);
for i = 1:size(phi,1)
    a = w' * phi(i,:)';
    y(i) = 1/(1+exp(-a));
end
end

R的生成：

function [ R ] = generateR( y )
R = zeros(size(y));
for i = 1:size(R,1)
    R(i,i) = y(i) * (1 - y(i));
end
end

以及中断条件触发器：

function [ result ] = onlyMarginalChangesInW( w_new, w_old )
result = true;
for i = 1:size(w_new)
    if (w_new(i) / w_old(i) > 0.01)
        result = false;
        break;
    end
end
end

Answer 1

NaN结果出现在inv(phi' * R * phi)中。你检查你的phi了吗？尝试cond(phi)检查它是否很大。这可能导致反向运算提供了一个庞大的元素。

顺便说一句，我试图理解为什么在你的迭代重加权最小二乘算法实现中它不是w_new = w_old - inv(phi' * R * phi) * phi' * R * (y - t);？