我是Tensorflow的新手,之前曾广泛使用scikit learn。作为我尝试过渡到TensorFlow的第一个练习之一,我试图重现我使用scikit learn的MLPC分类器获得的一些结果。
当我使用大多数默认设置的MLP分类器时,我在测试集上的准确率高达98%。然而,当我在TensorFlow中实现我认为等效的单层ANN时,我在测试集上的准确率不到90%。我能让TensorFlow产生类似精度的唯一方法是在训练集上训练多次(>50)。
你知道差异可能来自哪里吗?或者Tensorflow中有没有sklearn MLPC分类器的实现,我可以将我的代码与之进行比较?
就我而言,我在输出层使用相同的优化器(Adam)、相同的学习率、具有相同参数的L2正则化、相同的激活函数(ReLU)和softmax评估。
我对TensorFlow图的实现如下:
n_units = 500
X = tf.placeholder(tf.float32, [None, n_features])
Y = tf.placeholder(tf.float32, [None, n_classes])
# Create weights for all layers
W_input = tf.Variable(tf.truncated_normal([n_features, n_units]))
W_out = tf.Variable(tf.truncated_normal([n_units, n_classes]))
# Create biases for all layers
b_1 = tf.Variable(tf.zeros([n_units]))
b_2 = tf.Variable(tf.zeros(([n_classes])))
# Mount layers
hidden_layer = tf.nn.relu(tf.matmul(X, W_input) + b_1)
logits = tf.matmul(hidden_layer, W_out) + b_2
# Get all weights into a single list
all_weights = tf.concat([tf.reshape(W_input, [-1]), tf.reshape(W_out, [-1])], 0)
# Compute loss function
cross_entropy = tf.reduce_mean(
tf.losses.softmax_cross_entropy(onehot_labels=Y, logits=logits))
# Compute regularization parameter
regularizer = 0.0001*tf.nn.l2_loss(all_weights)
# Train step
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy + regularizer)
# Get number of correct predictions
correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(Y, 1))
# Class prediction
prediction = tf.argmax(tf.nn.softmax(logits), 1)
# Get accuracy
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
我对sklearn模型的实现很简单:
clf = neural_network.MLPClassifier(hidden_layer_sizes = (500,), random_state=42)
如果您查看sklearns的实现,有一个名为max_iter
的默认参数
max_iter:int,可选,默认200
最大迭代次数。求解器迭代直到收敛(由"tol"确定)或此迭代次数。对于随机求解器("gd"、"adam"),请注意,这决定了时期的数量(每个数据点将使用多少次),而不是梯度步长的数量。
本质上,它运行了200个时期,然后给你0.98的准确度。这就是为什么你需要在tensorflow中运行相同的图200次(我假设你所说的50次也足够了)才能得到完全相同的输出。