如何在特定层 Keras 上进行范围规范化

Question

下面是我用于多类分类的模型

model = Sequential()
model.add(Dense(6, input_dim = input_dim , activation = 'relu'))
model.add(Dense(3, activation = 'softmax'))
adam = optimizers.Adam(learning_rate=0.001)
model.compile(loss = 'categorical_crossentropy' , optimizer = 'adam' , metrics = ['accuracy'] )

我想对第一层(即具有 relu 激活的层(产生的输出进行范围归一化，介于0 和 1 之间。 我已经检查了 Keras 中可用的规范化层，但据我所知，它们生成的输出平均值为 0 和 stddev 1。

我不确定在 Keras 中的层上执行自定义规范化的过程是什么。

Answer 1

我建议使用 sigmoid 函数，因为这会将输出映射到 [0,1]，而 relu 映射在 (0， 无穷大] 之间