我正在研究用于多GPU建模的Keras。因此,在我投入时间之前,我尝试了一个从lambdalabs的4 GPU实例上的简单Skipgram模型。
一个GPU性能,比Kaggle的内核稍差(Lambda Labs GPU上的核心数较小(。
但是多GPU性能非常糟糕。我已经阅读了https://github.com/keras-team/keras/issues/9204,但尚不清楚像这样的简单模型是否有很多重量合并。
在我们拥有世界和平时,批量尺寸在零食之间振荡,大致融合。的问题是:自去年以来,我们对Keras的多GPU问题有了更多的了解,我将如何在射击中遇到麻烦?
另外 - 我正在使用fit_generator。参数是GPU或CPU的"使用_MultipRocessing"one_answers"工人"?(我认为后者(。
当use_multiprocessing=True
和workers>0
时,KERAS将使用Multiprocess在CPU中生成数据并将其馈送到GPU。