Normalize tf.data.Dataset

Question

我有一个具有输入形状(batch-size, 128, 128, 2)和目标形状(batch-size, 128, 128, 1)的图像的tf.data.Dataset，其中输入是2通道图像(具有两个通道表示实部和虚部的复值图像)，目标是1通道图像(实值图像)。我需要对输入图像和目标图像进行标准化，首先去除它们的均值图像，然后将它们缩放到(0,1)范围。如果我没有错的话，tf.data.Dataset一次只能处理一个批处理，而不是整个数据集。因此，我从remove_meanpy_function中的批处理中的每个图像中删除批处理的平均图像，然后通过减去其最小值并除以py_functionlinear_scaling中最大值和最小值的差值，将每个图像缩放到(0,1)。但是，在应用函数之前和之后，在数据集中的输入图像中打印最小值和最大值之后，图像值没有变化。谁能告诉我这里面出了什么问题吗?

def remove_mean(image, target):
image_mean = np.mean(image, axis=0)
target_mean = np.mean(target, axis=0)
image = image - image_mean
target = target - target_mean
return image, target
def linear_scaling(image, target):
image_min = np.ndarray.min(image, axis=(1,2), keepdims=True)
image_max = np.ndarray.max(image, axis=(1,2), keepdims=True)
image = (image-image_min)/(image_max-image_min)
target_min = np.ndarray.min(target, axis=(1,2), keepdims=True)
target_max = np.ndarray.max(target, axis=(1,2), keepdims=True)
target = (target-target_min)/(target_max-target_min)
return image, target
a, b = next(iter(train_dataset))
print(tf.math.reduce_min(a[0,:,:,:]))
train_dataset.map(lambda item1, item2: tuple(tf.py_function(remove_mean, [item1, item2], [tf.float32, tf.float32])))
test_dataset.map(lambda item1, item2: tuple(tf.py_function(remove_mean, [item1, item2], [tf.float32, tf.float32])))
a, b = next(iter(train_dataset))
print(tf.math.reduce_min(a[0,:,:,:]))
train_dataset.map(lambda item1, item2: tuple(tf.py_function(linear_scaling, [item1, item2], [tf.float32])))
test_dataset.map(lambda item1, item2: tuple(tf.py_function(linear_scaling, [item1, item2], [tf.float32])))
a, b = next(iter(train_dataset))
print(tf.math.reduce_min(a[0,:,:,:]))

Output -
tf.Tensor(-0.00040511801, shape=(), dtype=float32)
tf.Tensor(-0.00040511801, shape=(), dtype=float32)
tf.Tensor(-0.00040511801, shape=(), dtype=float32)

Answer 1

map不是原地操作，所以当您执行train_dataset.map(....)时，train_dataset不会更改。

Dotrain_dataset = train_dataset.map(...)