在神经网络中找到最佳学习率和时期

Question

我创建了一个单层神经网络，其中包含两个输出(每个类一个，0 或 1(，使用 sigmoid 方法和 SGD 优化器进行训练。我还训练了没有任何隐藏层的 NN。此外，我还使用 StratifiedKFold 验证了模型的性能，并进行了 4 次拆分。训练的模型设计为 lr=0.1，epochs=150，但是，我不知道这些值是否在优化模型。出于这个原因，我想运行 20 种学习率参数和 epoch 的组合，以查看最准确的结果以及我获得这些参数的哪个组合。以下限制：

• 纪元：介于 10 和 150 之间的值
• 学习率：介于 0.01 和 1 之间的值

请参阅下面的代码：

from sklearn.model_selection import StratifiedKFold
from keras.models import Sequential
from keras.layers.core import Dense
from keras import layers
from keras.optimizers import SGD
from keras.wrappers.scikit_learn import KerasClassifier
from sklearn.model_selection import cross_val_score
#Function to create the NN model
def create_model():    
#Neural Network model
ann = Sequential()
#Number of columns of training dataset
n_cols = x_train.shape[1]
#Output
ann.add(Dense(units=1,activation='sigmoid',input_shape=(n_cols,)))
#SGD Optimizer
sgd = SGD(lr=0.1)
#Compile with SGD optimizer and binary_crossentropy
ann.compile(optimizer=sgd,
loss='binary_crossentropy',
metrics=['accuracy'])
return ann
#Creating the model
model=KerasClassifier(build_fn=create_model,epochs=150,batch_size=10,verbose=0)
#Evaluating the model using StratifiedKFold
kfold = StratifiedKFold(n_splits=4, shuffle=True, random_state=2)
results=cross_val_score(model,x_train,y_train,cv=kfold)
#Accuracies
print(results)

为了创建由学习率和纪元形成的 20 种组合，首先，我创建了 lr 和纪元的随机值：

#Epochs
epo = np.random.randint(10,150)
#Learning Rate
learn = np.random.randint(0.01,1)

我的问题是我不知道如何将其放入 NN 的代码中，以便找到哪个是提供最佳模型准确性的组合。

Answer 1

无需优化可以轻松使用的早期停止的周期数，当您的损失或准确性没有改善时，它将停止 因此，只需将您的纪元设置为一个大数字(例如 300 (并添加：

keras.callbacks.callbacks.EarlyStopping(monitor='val_loss', min_delta=0.1)

您还可以通过以下方式调用最佳权重(就在模型开始过度拟合之前(：

restore_best_weights=True

Answer 2

首先在create_model()函数中，您定义了优化器，您将学习率作为参数传递给：

#SGD Optimizer
sgd = SGD(lr=0.1)

这是优化过程的起始学习率，从这一点开始，优化器处理最佳学习率。 尽管如此，您可以在循环中传递多个起始学习率，反复调用create_model()函数并将学习率参数传递给该函数。

此外，正如 parsa 提到的，选择正确的纪元数字是基于验证结果，该结果显示了模型过度拟合的位置。关键是，纪元数达到最佳状态。