我有大量不适合RAM的Numpy阵列。假设数百万:
np.arange(10)
- 我想将它们保存在一个文件中,将它们保存在单个文件中,块块。
- 我想从文件中读取它们,并使用
model.fit_generator
将它们馈送到我的Keras模型
我阅读了有关DASK的信息,它与不适合内存但无法实现我的目标的大数据一起使用。
用泡菜将文件写入磁盘:
pickle.dump((x, y), open(file, "wb"), protocol=pickle.HIGHEST_PROTOCOL)
然后创建一个测试和培训文件列表,然后创建一个生成器:
def raw_generator(files):
while 1:
for file_num, file in enumerate(files):
try:
x, y = pickle.load(open(file, 'rb'))
batches = int(np.ceil(len(y) / batch_size))
for i in range(0, batches):
end = min(len(x), i * batch_size + batch_size)
yield x[i * batch_size:end], y[i * batch_size:end]
except EOFError:
print("error" + file)
train_gen = preprocessing.generator(training_files)
test_gen = preprocessing.generator(test_files)
最后致电fit_generator:
history = model.fit_generator(
generator=train_gen,
steps_per_epoch= (len(training_files)*data_per_file)/batch_size,
epochs=epochs
validation_data=test_gen,
validation_steps=(len(test_files)*data_per_file)/batch_size,
use_multiprocessing=False,
max_queue_size=10,
workers=1,
verbose=1)