Keras ImageDataGenerator设置平均值和标准

Question

我有一个预训练的keras模型，我想在新的数据集上使用它。我有权重，均值和std文件从预训练的模型，我想使用flow_from_directory从图像数据生成器加载新的数据集。问题是如何明确地设置平均值和标准文件进行规范化?

谢谢

Answer 1

我认为你可以使用ImageDataGenerator的'featurewise_center'和'featurewise_std_normalization'来处理这个。参考:https://keras.io/preprocessing/image/imagedatagenerator-class

假设你的预训练数据集的平均值[R, G, B]值为[123.68,116.779,103.939]，std为64.0。然后可以使用下面的示例代码:(使用带TF后端的Keras 2, image_data_format='channels_last')

from keras.preprocessing import image
datagen = image.ImageDataGenerator(featurewise_center=True,
                                   featurewise_std_normalization=True)
datagen.mean = np.array([123.68, 116.779, 103.939], dtype=np.float32).reshape((1,1,3)) # ordering: [R, G, B]
datagen.std = 64.
batches = datagen.flow_from_directory(DATASET_PATH + '/train',
                                      target_size=(224,224),
                                      color_mode='rgb',
                                      class_mode='categorical',
                                      shuffle=True,
                                      batch_size=BATCH_SIZE)

Answer 2

我认为实现这一点的最好方法是编写自己的方法来处理由flow_from_directory生成的样本。它可以是这样的:

def custom_normilze_generator(directory, mean):
    for img in flow_from_directory(directory):
        yield (img - mean)

Answer 3

我最终使用一个自定义函子来计算、存储和检索统计信息:

class Normaliser():
    def __init__(self, mean=None, std=None):
        self.mean = mean
        self.std = std
    def __call__(self, img):
        if self.mean is not None:
            img = self.center(img)
        if self.std is not None:
            img = self.scale(img)
        return img
    def center(self, img):
        return img - self.mean
    def scale(self, img):
        return img / self.std
    def normalise(self, img):
        return (img - self.mean) / self.std
    def set_mean(self, filepaths, input_size):
        print("Calculating mean with shape: ", input_size)
        self.mean = # calculate the mean
        print("Mean is:", self.mean)
        return True
    def set_std(self, filepaths):
        self.std = # calculate the std
        return False

要使用它，给定input_size的输入大小，将Normaliser的实例传递给ImageDataGenerator。

normaliser = Normaliser()
img_gen = ImageDataGenerator(preprocessing_function=normaliser)                         

使用keras预处理实用程序获取文件路径。我用了flow_from_directory

iterator = img_gen.flow_from_directory(directory, input_size=input_size)

用

设置normaliser的平均值

normaliser.set_mean(iterator.filepaths, input_size)

你可以按你想要的方式保存你的统计数据。在预测阶段，使用构造函数用保存的平均值重新创建Normaliser。

与直接使用keras生成器相比，它帮助我在如何处理我的数据方面有更大的灵活性，并且更清楚地了解我对它所做的修改，这不是一件微不足道的事情。samplwise_center和featurewise_center不是标准化图像的唯一方法，正如本文所描述的