如何在CNN图像分割网络中提取颜色对比度



当为R G B图像定义分割网络时,例如MXNet上的FCN-XS示例中的网络,输入 RGB 图像层被馈送到多个卷积、激活、池化等...

例如,卷积的定义如下:mxnet.symbol.Convolution(data=input, kernel=(3, 3(, pad=(1, 1(, num_filter=64, 工作区=workspace_default,名称="conv1_1"(

一方面,这里的卷积滤波器是2D的,这意味着每个颜色层R,G,B单独处理。另一方面,神经科学中众所周知,相关特征包含在颜色对比度中,而不是颜色通道本身中,即颜色应该相互减去,例如红色减去绿色或蓝色减去黄色。

如何通过网络结构强制执行?R G B组分是如何混合和组合的?

事实证明,mxnet 中的卷积是 3D 的:前两个维度反映图像坐标,而第三个维度反映深度,即特征空间的维度。对于输入层的 RGB 图像,深度为 3(除非它是深度==1 的灰度图像(。对于任何其他图层,深度是要素(过滤器(的数量。

因此,不需要明确指定沿深度维度的卷积,它总是(隐式(假设。因此,可以提取颜色对比度和其他涉及来自多个通道的数据的特征。例如,将水平和垂直特征相加可以产生拐角检测器......