带有参数的自定义激活

Question

我正试图在Keras中创建一个激活函数，它可以接受参数beta，如下所示：

from keras import backend as K
from keras.utils.generic_utils import get_custom_objects
from keras.layers import Activation
class Swish(Activation):
def __init__(self, activation, beta, **kwargs):
super(Swish, self).__init__(activation, **kwargs)
self.__name__ = 'swish'
self.beta = beta

def swish(x):
return (K.sigmoid(beta*x) * x)
get_custom_objects().update({'swish': Swish(swish, beta=1.)})

它在没有beta参数的情况下运行良好，但我如何将该参数包含在激活定义中？我还希望在执行类似于ELU激活的model.to_json()时保存此值。

---

更新：我根据@今天的答案编写了以下代码：

from keras.layers import Layer
from keras import backend as K
class Swish(Layer):
def __init__(self, beta, **kwargs):
super(Swish, self).__init__(**kwargs)
self.beta = K.cast_to_floatx(beta)
self.__name__ = 'swish'
def call(self, inputs):
return K.sigmoid(self.beta * inputs) * inputs
def get_config(self):
config = {'beta': float(self.beta)}
base_config = super(Swish, self).get_config()
return dict(list(base_config.items()) + list(config.items()))
def compute_output_shape(self, input_shape):
return input_shape
from keras.utils.generic_utils import get_custom_objects
get_custom_objects().update({'swish': Swish(beta=1.)})
gnn = keras.models.load_model("Model.h5")
arch = gnn.to_json()
with open(directory + 'architecture.json', 'w') as arch_file:
arch_file.write(arch)

但是，它当前没有将beta值保存在.json文件中。如何使其节省价值？

Answer 1

由于在序列化模型时要保存激活函数的参数，我认为最好将激活函数定义为一个层，就像Keras中定义的高级激活一样。你可以这样做：

from keras.layers import Layer
from keras import backend as K
class Swish(Layer):
def __init__(self, beta, **kwargs):
super(Swish, self).__init__(**kwargs)
self.beta = K.cast_to_floatx(beta)
def call(self, inputs):
return K.sigmoid(self.beta * inputs) * inputs
def get_config(self):
config = {'beta': float(self.beta)}
base_config = super(Swish, self).get_config()
return dict(list(base_config.items()) + list(config.items()))
def compute_output_shape(self, input_shape):
return input_shape

然后你可以像使用Keras层一样使用它：

# ...
model.add(Swish(beta=0.3))

由于get_config()方法已在其定义中实现，因此在使用to_json()或save()等方法时将保存参数beta。