手动更改Keras卷积层的权重

Question

有一种方法可以手动更改tf.layers.Conv2d的权重(https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/layers/Conv2D)？因为这个类只接受输入、要使用的内核数量等…并且权重是由Tensorflow自动存储和计算的，但我想用一种方法(比如tf.nn.conv2d-https://www.tensorflow.org/api_docs/python/tf/nn/conv2d)将权重直接传递给类。

有人有什么建议吗？

也许可以手动加载和更改该层关联变量的值？我发现这个解决方案很糟糕，但它可以起作用。

谢谢。

Answer 1

假设你有一个像这样的基本卷积神经网络：

import tensorflow as tf
import numpy as np
model = tf.keras.Sequential([
tf.keras.layers.Conv2D(filters=16, kernel_size=(3, 3), 
strides=(1, 1), activation='relu'),
tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
strides=(1, 1), activation='relu'),
tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dropout(5e-1),
tf.keras.layers.Dense(10, activation='softmax')
])

默认情况下，所有卷积层的名称都是'conv2d...'。

list(map(lambda x: x.name, model.layers))

['conv2d_19',
'max_pooling2d_19',
'conv2d_20',
'max_pooling2d_20',
'flatten_8',
'dense_16',
'dropout_8',
'dense_17']

使用它，您可以遍历所有的卷积层。

for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
print(layer)

<tensorflow.python.keras.layers.convolutional.Conv2D object at 0x00000295BE4EB048>
<tensorflow.python.keras.layers.convolutional.Conv2D object at 0x00000295C1617448>

对于所有这些层，可以获得权重形状和偏移形状。

for layer in filter(lambda x: 'conv' in x.name, model.layers):
weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())

然后，您可以将layer.set_weights()与所需的值一起使用，因为您知道正确的形状。比方说0.12345。让我们使用np.full来完成此操作，它用您想要的任何值填充指定形状的数组。

for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())
layer.set_weights([np.full(weights_shape, 0.12345),
np.full(bias_shape,    0.12345)])

现在的重量：

[array([[[[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
...,
[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345]]]],
dtype=float32),
array([0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
0.12345, 0.12345, 0.12345, 0.12345], dtype=float32)]

完全复制/可粘贴示例：

import tensorflow as tf
import numpy as np
model = tf.keras.Sequential([
tf.keras.layers.Conv2D(filters=16, kernel_size=(3, 3), 
strides=(1, 1), activation='relu'),
tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
strides=(1, 1), activation='relu'),
tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dropout(5e-1),
tf.keras.layers.Dense(10, activation='softmax')
])
model.build(input_shape=(None, 28, 28, 1))
for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())
layer.set_weights([np.full(weights_shape, 0.12345),
np.full(bias_shape,    0.12345)])

Answer 2

感谢Nicholas的建议。

我没有使用Keras进行网络建模，事实上我需要直接使用Tensorflow，特别是使用tf slim库。

你提出的解决方案可以用于替换权重，但要克服的问题是，我还需要改变这些权重用于计算卷积运算的方式。更具体地说，我想向Conv层传递一个权重向量，该向量在某种程度上代表了以前的权重矩阵，所以在进行卷积之前，我需要重建一个矩阵并将其传递给该层。

有什么建议可以做到这一点吗？

谢谢。