如何从文件夹创建图像数据集

Question

我在一个文件夹中有一个来自该数据集的35000多个图像的数据集。我如何将这些图像转换为train_images的python中的数组，并将其输入张量流深度学习模型？

Answer 1

方法1(简单但不推荐(

使用numpy、PIL或opencv加载您的数据，并使用占位符将其提供给您的网络。这意味着您的数据足够小，可以放入内存。示例代码看起来像

import glob
import cv2
import numpy as np
import tensorflow as tf
data = []
for i in glob.glob('path/to/my/data/**/*.png', recursive=True):
data.append(cv2.imread(i))
data = np.stack(data) # array of shape [num_images, height, width, channel]
def get_batch(data, batch_size):
data_size = data.shape[0]
indexes = list(range(data_size))
np.random.shuffle(indexes)
for i in range(0, data_size, batch_size):
yield data[indexes[i:i+batch_size]]
images = tf.placeholder(tf.float32, [None, height, width, channel])
my_net = build_network(images)
...
for epoch in range(max_epochs):
for batch_images in get_batch(data, batch_size):
sess.run(train_op, feed_dict={images: batch_images})

方法2(更多参与，但规模更好(

您应该从数据中创建TF记录，并使用TensorFlow中的排队机制和数据集API，而不是占位符。

Answer 2

要从数据集文件夹中获取所有文件/图像名称，请遵循以下

import os
# train_images list of name of files or images in data set folder 
train_images = list()
image_path = ' path to the data set (image) folder '
for image in os.walk(image_path):
train_images.append(image[2]) 
# os.walk('path') traverse recursively so used index 2 to give file name in same folder only

trian_images是必需的数组，您可以将其传递/馈送到tensorflow。

按照@Olivier Moindot的这个解决方案，将train_images传递到文件名，并根据您的需要标记您的数据。