使用Skimage View_as_windows制作图像补丁并重建补丁

Question

我想从512x512颜色图像中提取彩色图像补丁，然后将它们作为单个图像补丁保存在文件夹中。如何从这些图像补丁中重建我的原始图像？我已经阅读并研究了类似问题，但它们无法解决我的问题。

我已经完成了读取的措施，并决定使用浏览中的view_as_windows函数来执行我的图像修补程序。我还设法将修补程序保存到PNG文件。

当前使用弹丸view_as_window从颜色图像尺寸的512x512 patch_img = view_as_windows(input_img, (128, 128, 3), step=64)提取补丁时，在揭示输出阵列的详细信息时，我注意到 patch_img的形状为(7，7，7，7，1，128，128，3(和dtypeunint8。要将每个补丁保存为单个图像，我使用以下代码。

    for i in range(0, len(patch_img)):    #range should be 0 to 6
        for x in range(0, len(patch_img)):
            fname= 'IMG_test_{}_{}.png'.format(i, x)
            #cv2.imwrite(fname, crop_img[i,x,0,:,:,:])

使用CV2加载整个文件夹使用保存的图像时，我无法获得相同的形状和patch_img的dtype，而是我得到了一个形状(49、128、128、3(。我该如何修复。

编辑：使用savedimg = savedimg.reshape(7,7,128 128, 3)

修复形状

另外，如何使用保存的图像补丁来重建原始图像？

Answer 1

让我们假设我们首先要处理一些更简单的事情。假设我们想将2D数组分开，而不是2D RGB数组，例如：

>>> image_arr = np.array(list(range(1, 26))).reshape((5,5))
>>> image_arr
array([[ 1.,  2.,  3.,  4.,  5.],
       [ 6.,  7.,  8.,  9., 10.],
       [11., 12., 13., 14., 15.],
       [16., 17., 18., 19., 20.],
       [21., 22., 23., 24., 25.]])

现在，假设我们要将其拆分为2x2 Windows：

>>> patch_arr = view_as_windows(image_arr, (2,2))

让我们比较两个阵列的形状：

>>> image_arr.shape
(5, 5)
>>> patch_arr.shape
(4, 4, 2, 2)

现在，(如果我正确理解您(您是在问我们如何使用patch_arr重建image_arr？

我们要处理的方式是我们要创建一个空的NP。由于它们是重叠的，这意味着我们将多次为大多数单元格编写相同的值，但这当然不是问题。

您也可以尝试优化这种方法以仅写给每个单元格一次，但是在这种情况下，我不确定是否值得。

1. 让我们创建空数组

>>> reconstructed_arr = np.zeros(shape=(5,5))
>>> reconstructed_arr
array([[0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.]])

2. 我们现在将在补丁上迭代并将其粘贴到reconstructed_arr：

for x in range(patch_arr.shape[0]):
    for y in range(patch_arr.shape[1]):
        reconstructed_arr[x:x + 2, y:y + 2] = patch_arr[x,y]

3. 就是这样

>>> reconstructed_arr
array([[ 1.,  2.,  3.,  4.,  5.],
       [ 6.,  7.,  8.,  9., 10.],
       [11., 12., 13., 14., 15.],
       [16., 17., 18., 19., 20.],
       [21., 22., 23., 24., 25.]])

类似的方法需要应用于您的数据(这次使用RGB值的另一个轴(：

1. 生成随机input_img数组

input_img = np.random.rand(512, 512, 3)

2. 让我们像您一样创建补丁：

patch_img = view_as_windows(input_img, (128, 128, 3), step=64)

3. 重建的空数组：

>>> reconstructed_arr = np.zeros((512, 512, 3))

4. 由于您使用了step=64。

>>> step = 64
>>> for x in range(patch_img.shape[0]):
        for y in range(patch_img.shape[1]):
            x_pos, y_pos = x * step, y * step
            reconstructed_arr[x_pos:x_pos + 128, y_pos:y_pos + 128] = patch_img[x, y, 0, ...]
>>> (input_img == reconstructed_arr).all()
True