GPflow文档提供了一个具有健壮的max函数的多类分类示例。我正试图用softmax似然训练一个多类分类器，它也在GPflow中实现，但我找不到任何关于如何正确使用它的文档或示例。
请在下面找到一个我尝试过的例子。在训练过程中，损失平稳减少。
上面提到的鲁棒最大值示例使用分类标签，即值0、1、2，但简单地用softmax似然替换鲁棒最大值会在求积方法中产生IndexError。因此，我假设这个具有softmax可能性的模型需要一个热编码标签。然而，在测试时，我注意到对于这个三类玩具示例，模型从未预测过第三类。经过仔细检查，softmax可能性具有以下方法
def _log_prob(self, F, Y):
return -tf.nn.sparse_softmax_cross_entropy_with_logits(logits=F, labels=Y[:, 0])
这看起来像是期望形状为CCD_ 1的分类标签的阵列。
使用softmax似然进行GP多类别分类的正确方法是什么？
import numpy as np
import tensorflow as tf
import gpflow
from gpflow.likelihoods.multiclass import Softmax
from tqdm.auto import tqdm
np.random.seed(0)
tf.random.set_seed(123)
# Number of functions and number of data points
num_classes = 3
N = 100
# Create training data
# Jitter
jitter_eye = np.eye(N) * 1e-6
# Input
X = np.random.rand(N, 1)
# SquaredExponential kernel matrix
kernel_se = gpflow.kernels.SquaredExponential(lengthscales=0.1)
K = kernel_se(X) + jitter_eye
# Latents prior sample
f = np.random.multivariate_normal(mean=np.zeros(N), cov=K, size=(num_classes)).T
# Hard max observation
Y = np.argmax(f, 1).reshape(-1,).astype(int)
# One-hot encoding
Y_hot = np.zeros((N, num_classes), dtype=np.int)
Y_hot[np.arange(N), Y] = 1
data = (X, Y_hot)
# sum kernel: Matern32 + White
kernel = gpflow.kernels.Matern32() + gpflow.kernels.White(variance=0.01)
likelihood = Softmax(num_classes)
m = gpflow.models.VGP(
data=data,
kernel=kernel,
likelihood=likelihood,
num_latent_gps=num_classes,
)
def run_adam(model, iterations):
"""
Utility function running the Adam optimizer
"""
# Create an Adam Optimizer action
losses = []
training_loss = model.training_loss
optimizer = tf.optimizers.Adam()
@tf.function
def optimization_step():
optimizer.minimize(training_loss, model.trainable_variables)
for step in tqdm(range(iterations), total=iterations):
optimization_step()
if step % 10 == 0:
elbo = -training_loss().numpy()
losses.append(elbo)
return losses
run_adam(model=m, iterations=10000)
y_pred = m.predict_y(X)[0]
print("Training accuracy: {:3.2f}".format(np.mean(Y == np.argmax(y_pred, axis=1))))
Softmax使用蒙特卡罗来估计预期的对数似然性，因此您总是需要Adam。RobustMax的好处是，对于完整的数据集，您可以使用bfgs。我的经验是，尽管从统计角度来看，RobustMax并不是那么好。。。
我永远记不清标签应该以什么形式传递，RobustMax和SoftMax之间很可能存在差异。你找到了正确的方法，我会参考tf.nn.sparse_softmax_cross_entropy_with_logits()的TensorFlow文档来确定什么是正确的格式