NVidia GPU最多有16GB内存,这限制了大型模型训练。模型并行性可能需要修改深度学习框架。使用英特尔多核CPU训练tensorflow模型可行吗?你能就硬件配置和性能提出一些建议吗?
您可以尝试使用Intel AI Devcloud,这是一个云托管的硬件和软件平台,可供开发人员、研究人员和初创公司学习和开始他们的人工智能项目。它有Intel®Xeon®可扩展处理器,每个处理器有24个带双向超线程的内核。每个处理器都可以访问96 GB的平台上RAM。
有关更多详细信息,请参阅下面的链接。
https://ai.intel.com/devcloud/
您可以通过在以下链接中注册来访问此平台30天。
https://software.intel.com/en-us/ai-academy/devcloud
您将收到一封提供用户名和密码的欢迎邮件。打开欢迎邮件中的超链接,了解如何连接和使用Devcloud的更多详细信息。为了在Devcloud上获得最佳性能,请更改并行线程和OpenMP设置(在代码内部或终端中(,如下所示:
在终端:
export OMP_NUM_THREADS="NUM_PARALLEL_EXEC_UNITS">
导出KMP_BLOCKTIME="0">
导出KMP_SETTINGS="1">
export KMP_AFFINITY="粒度=精细、详细、紧凑、1.0">
内部代码:
导入os
os.environ["OMP_NUM_THREADS"]="NUM_PARALLEL_EXEC_UNITS">
os.environ["KMP_BLOCKTIME"]="0">
os.environment["KMP_SETTINGS"]="1">
os.environ["KMP_AFFINITY"]="粒度=精细、详细、紧凑、1.0">
有关优化的更多详细信息,请参阅:
https://communities.intel.com/docs/DOC-112392
希望这能有所帮助。