无法训练神经网络计算异或

Question

请告诉我我做错了什么，为什么准确性没有提高？ 我尝试了一切，添加了层，增加了和减少了迭代次数，甚至尝试安装dropout(即使我在这里没有重新训练(，但它没有:(

from __future__ import print_function
import numpy as np
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.utils import np_utils
from keras.layers import Dropout
np.random.seed()
NB_EPOCH = 100
VERBOSE = 1
NB_CLASSES = 2
X_in = [[1,0],[1,1],[0,0],[0,1],[1,1],[0,0],[1,1]]
X_answer = [1,0,0,1,0,0,0]
X_in = np.asarray(X_in, dtype=np.float32)
X_answer = np.asarray(X_answer, dtype=np.float32)
X_answer = np_utils.to_categorical(X_answer, NB_CLASSES)
model = Sequential()
model.add(Dense(300, input_dim = 2, activation='relu'))
model.add(Dense(300, input_dim = 300, activation='softmax'))
model.add(Dense(2, input_dim = 300, activation='relu'))
#model.summary()
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(X_in, X_answer, epochs=NB_EPOCH, verbose=VERBOSE)

Answer 1

XOR 操作只有 4 种可能的结果，我已经稍微更改了您的源代码，所以它现在工作正常，但是需要几百次迭代才能学习必要的东西：

#!/usr/bin/env python
import numpy as np
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.utils import np_utils
from keras.layers import Dropout
np.random.seed()
NB_EPOCH = 1000
VERBOSE = 1
NB_CLASSES = 2
X_in = [[1,0],[1,1],[0,0],[0,1]]
X_answer = [[0,1],[1,0],[1,0],[0,1]]
X_in = np.asarray(X_in, dtype=np.float32)
X_answer = np.asarray(X_answer, dtype=np.float32)
#X_answer = np_utils.to_categorical(X_answer, NB_CLASSES)
model = Sequential()
model.add(Dense(10, input_dim = 2, activation='relu'))
model.add(Dense(10, activation='relu'))
model.add(Dense(2, activation='softmax'))
#model.summary()
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(X_in, X_answer, nb_epoch=NB_EPOCH, verbose=VERBOSE)
print model.predict( X_in )

结果是：

Epoch 995/1000
4/4 [==============================] - 0s - loss: 0.1393 - acc: 1.0000
Epoch 996/1000
4/4 [==============================] - 0s - loss: 0.1390 - acc: 1.0000
Epoch 997/1000
4/4 [==============================] - 0s - loss: 0.1387 - acc: 1.0000
Epoch 998/1000
4/4 [==============================] - 0s - loss: 0.1385 - acc: 1.0000
Epoch 999/1000
4/4 [==============================] - 0s - loss: 0.1383 - acc: 1.0000
Epoch 1000/1000
4/4 [==============================] - 0s - loss: 0.1380 - acc: 1.0000
[[ 0.00492113  0.9950788 ]
[ 0.99704748  0.0029525 ]
[ 0.99383503  0.00616499]
[ 0.00350395  0.99649602]]

这真的很接近所需的[0,1],[1,0],[1,0],[0,1](X_answer(

Answer 2

这里有不少问题。不，这并非不可能 (*(

辍学与您的问题无关 (**(。您使用的是软最大值，然后是 relu？这对我来说似乎很奇怪。 你为什么要投到分类？当你有这么小的输入示例(10 个样本，但隐藏层上有 300 个参数(时，为什么要使用这么大的网络？

从这里开始，一个带有keras的xor的最小示例：

X = np.array([[0,0],[0,1],[1,0],[1,1]])
y = np.array([[0],[1],[1],[0]])
model = Sequential()
model.add(Dense(8, input_dim=2))
model.add(Activation('tanh'))
model.add(Dense(1))
model.add(Activation('sigmoid'))
sgd = SGD(lr=0.1)
model.compile(loss='binary_crossentropy', optimizer=sgd)
model.fit(X, y, show_accuracy=True, batch_size=1, nb_epoch=1000)
print(model.predict_proba(X))

(

---

*(你正在使用多层感知器，但标题引起了我的注意，因为有一个(相对(著名的证明，没有隐藏层的NN不能学习异或。此处的证明示例

(**( 当您拥有深度网络时，dropout 有助于泛化。在训练大型模型以检测图像中的人类等复杂的高维结构时，这一点至关重要。当试图适应异或时，这将使您的生活变得更加困难。