我正在用keras学习深度学习，并试图将结果(准确性(与机器学习算法(sklearn((即random forest、k_neighbors(进行比较
看来keras的结果最差。我正在处理一个简单的分类问题：iris dataset我的keras代码看起来：
samples = datasets.load_iris()
X = samples.data
y = samples.target
df = pd.DataFrame(data=X)
df.columns = samples.feature_names
df['Target'] = y
# prepare data
X = df[df.columns[:-1]]
y = df[df.columns[-1]]
# hot encoding
encoder = LabelEncoder()
y1 = encoder.fit_transform(y)
y = pd.get_dummies(y1).values
# split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3)
# build model
model = Sequential()
model.add(Dense(1000, activation='tanh', input_shape = ((df.shape[1]-1),)))
model.add(Dense(500, activation='tanh'))
model.add(Dense(250, activation='tanh'))
model.add(Dense(125, activation='tanh'))
model.add(Dense(64, activation='tanh'))
model.add(Dense(32, activation='tanh'))
model.add(Dense(9, activation='tanh'))
model.add(Dense(y.shape[1], activation='softmax'))
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train)
score, acc = model.evaluate(X_test, y_test, verbose=0)
#results:
#score = 0.77
#acc = 0.711
我已经厌倦了添加层和/或更改每层的单元数和/或将激活函数(更改为relu(，结果似乎不高于0.85。
使用sklearnrandom forest或k_neighbors，我得到了0.95以上的结果(在同一数据集上(。
我缺少什么？
使用
sklearn，我做了很少的努力，得到了很好的结果；使用keras，我进行了很多升级，但没有sklearn的结果好。为什么？如何使用
keras获得相同的结果？
简而言之，您需要：
- ReLU激活
- 更简单的模型
- 数据病态化
- 更多时代
详细信息：
这里的第一个问题是，现在我们从不将activation='tanh'用于中间网络层。在这样的问题中，我们实际上总是使用activation='relu'。
第二个问题是，您已经构建了一个相当大的Keras模型，而且很可能是这样的情况，即在您的训练集中只有100个虹膜样本，您的数据太少，无法有效地训练这样一个大模型。尝试大幅减少层数和每层节点数。开始更简单。
当我们拥有大量数据时，大型神经网络确实会蓬勃发展，但在像这里这样的小型数据集的情况下，与RF或k-nn等更简单的算法相比，它们的表现力和灵活性可能会成为一种负担。
第三个问题是，与随机森林等基于树的模型相比，神经网络通常需要对数据进行归一化，而你不会这样做。事实是，knn也需要归一化的数据，但在这种特殊情况下，由于所有虹膜特征都在同一尺度上，因此不会对性能产生负面影响。
最后但同样重要的是，您似乎只运行了一个epoch的Keras模型(如果您在model.fit中没有指定任何内容，则为默认值(；这在某种程度上相当于用一棵树构建一个随机森林(顺便说一句，它仍然比一棵决策树好得多(。
总而言之，代码中有以下更改：
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)
model = Sequential()
model.add(Dense(150, activation='relu', input_shape = ((df.shape[1]-1),)))
model.add(Dense(150, activation='relu'))
model.add(Dense(y.shape[1], activation='softmax'))
model.fit(X_train, y_train, epochs=100)
以及其他一切，我们得到：
score, acc = model.evaluate(X_test, y_test, verbose=0)
acc
# 0.9333333373069763
我们可以做得更好：稍微使用更多的训练数据并对其进行分层，即
X_train, X_test, y_train, y_test = train_test_split(X, y,
test_size = 0.20, # a few more samples for training
stratify=y)
并且使用相同的型号&训练时期，您可以在测试集中获得完美1.0的准确度：
score, acc = model.evaluate(X_test, y_test, verbose=0)
acc
# 1.0
(由于此类实验中默认设置的一些随机性，细节可能会有所不同(。
添加一些遗漏可能有助于提高准确性。有关更多信息，请参阅Tensorflow的文档。
从本质上讲，添加Dropout层的方式与添加Dense((层的方式非常相似。
model.add(Dropout(0.2)
注意：参数'0.2意味着层中20%的连接被随机省略，以减少它们之间的相互依赖性，从而减少过拟合。