可以在tensorflow中使用Intel Xeon CPU训练深度学习模型,解决gpu内存不足的问题



NVidia GPU最多有16GB内存,这限制了大型模型训练。模型并行性可能需要修改深度学习框架。使用英特尔多核CPU训练tensorflow模型可行吗?你能就硬件配置和性能提出一些建议吗?

您可以尝试使用Intel AI Devcloud,这是一个云托管的硬件和软件平台,可供开发人员、研究人员和初创公司学习和开始他们的人工智能项目。它有Intel®Xeon®可扩展处理器,每个处理器有24个带双向超线程的内核。每个处理器都可以访问96 GB的平台上RAM。

有关更多详细信息,请参阅下面的链接。

https://ai.intel.com/devcloud/

您可以通过在以下链接中注册来访问此平台30天。

https://software.intel.com/en-us/ai-academy/devcloud

您将收到一封提供用户名和密码的欢迎邮件。打开欢迎邮件中的超链接,了解如何连接和使用Devcloud的更多详细信息。为了在Devcloud上获得最佳性能,请更改并行线程和OpenMP设置(在代码内部或终端中(,如下所示:

在终端:

export OMP_NUM_THREADS="NUM_PARALLEL_EXEC_UNITS">

导出KMP_BLOCKTIME="0">

导出KMP_SETTINGS="1">

export KMP_AFFINITY="粒度=精细、详细、紧凑、1.0">

内部代码:

导入os

os.environ["OMP_NUM_THREADS"]="NUM_PARALLEL_EXEC_UNITS">

os.environ["KMP_BLOCKTIME"]="0">

os.environment["KMP_SETTINGS"]="1">

os.environ["KMP_AFFINITY"]="粒度=精细、详细、紧凑、1.0">

有关优化的更多详细信息,请参阅:

https://communities.intel.com/docs/DOC-112392

希望这能有所帮助。

相关内容

  • 没有找到相关文章