如何定义修改后的泄漏ReLU - TensorFlow

Question

我想使用最小化而不是最大化的leak - relu函数作为密集层的激活。换句话说，我想让激活是f(x) = min{x, alpha x }。我首先定义一个方法，如下所示。

def new_leaky_relu(x, alpha):
part_1 = tf.cast(tf.math.greater_equal(0.0, x), dtype='float32')   
part_2 = tf.cast(tf.math.greater_equal(x, 0.0), dtype='float32') 
return (part_1*x) + (x*part_2*k) 

当我在一个简单的模型上测试它时，我确实收到了一个错误。

model = tf.keras.Sequential([ 
tf.keras.layers.Flatten(input_shape=(124,))])  
model.add(tf.keras.layers.Dense(256,activation=new_leaky_relu(alpha=0.1)))

new_leaky_relu() missing 1 required positional argument: 'x'

我如何确保它是一个激活函数，我不需要在编译模型期间传递输入?另外，我构造激活函数的方法是有效的吗，还是有更好的方法?

我还使用了另一篇文章中分享的建议。参见如何使用Keras创建自定义激活函数?

from keras.utils.generic_utils import get_custom_objects
from keras.layers import Activation
get_custom_objects().update({'custom_activation': Activation(new_leaky_relu)})
model = tf.keras.Sequential([ 
tf.keras.layers.Flatten(input_shape=(124,))])  
model.add((tf.keras.layers.Dense(256,Activation(new_leaky_relu(alpha=0.1))))

Answer 1

您可以尝试如下:

import tensorflow as tf 
def custom_leaky_relu(alpha=0.0):        
def new_leaky_relu(x):
part_1 = tf.cast(tf.math.greater_equal(0.0, x), dtype='float32')   
part_2 = tf.cast(tf.math.greater_equal(x, 0.0), dtype='float32') 
return (part_1*x) + (x*part_2) 
return new_leaky_relu
model = tf.keras.Sequential([ 
tf.keras.layers.Flatten(input_shape=(124,))])  
model.add(tf.keras.layers.Dense(256, activation=custom_leaky_relu(alpha=0.1)))