我想使用卷积神经网络来分割图像数据。相同的网络应该输入不同(但非常相似)的数据,然后输出应该合并。
这里涉及到一个技巧:我的数据是3D的,我将其切割成2D图像并通过TimeDistributed
传递给卷积神经网络。
对图像使用相同的卷积神经网络是很重要的,权重应该是共享的。下面是代码:
dim_x, dim_y, dim_z = 40, 40, 40
inputs = Input((1, dim_x, dim_y, dim_z))
# slice the volume along different axes
x_perm=Permute((2,1,3,4))(inputs)
y_perm=Permute((3,1,2,4))(inputs)
z_perm=Permute((4,1,2,3))(inputs)
#apply the segmentation to each layer and for each slice-direction
x_dist=TimeDistributed(convmodel)(x_perm)
y_dist=TimeDistributed(convmodel)(y_perm)
z_dist=TimeDistributed(convmodel)(z_perm)
# now undo the permutation
x_dist=Permute((2,1,3,4))(x_dist)
y_dist=Permute((2,3,1,4))(y_dist)
z_dist=Permute((2,3,4,1))(z_dist)
#now merge the predictions
segmentation=merge([x_dist, y_dist, z_dist], mode="concat")
temp_model=Model(input=inputs, output=segmentation)
temp_model.summary()
convnet模型有大约330万个参数。排列和TimeDistributed层没有自己的参数。因此,完整的模型应该具有与convnet相同数量的参数。
它没有,它有3倍多的参数,大约990万个。
显然权值是不共享的。但这就是权重分配的工作方式。
模型是否共享权重并错误地报告了参数的数量?我是否必须更改设置以启用权重共享?
感谢Keras-Users Google Group,这个问题现在得到了回答:https://groups.google.com/forum/#!主题/keras-users P-BMpdyJfXI
诀窍是首先创建分割层,然后将其应用于数据。下面是工作代码:
#apply the segmentation to each layer and for each slice-direction
time_dist=TimeDistributed(convmodel)
x_dist=time_dist(x_perm)
y_dist=time_dist(y_perm)
z_dist=time_dist(z_perm)