我有一个python脚本,通过多处理在我的旧四核笔记本电脑上运行。模拟无法并行化,我只是在不同的内核上运行不同的实例。
我正在考虑在谷歌计算引擎上租一些更强大的cpu。我是否可以使用相同的python多处理脚本,只是有更多可用的内核?
该脚本只调用一个池,然后多次应用异步
多处理器在谷歌的虚拟机上的工作方式与在本地盒子上的相同(大致…(。为了使用盒子上所有可用的内核,不要将processes
参数传递给multiprocesing.Pool
,如:
pool = multiprocessing.Pool(processes=None)
这将使Python创建一个具有multiprocessing.cpu_count()
个进程的Pool
,cpu_count
通常是多个核心。
是的,这应该是可能的。如果您需要访问同一实例上的多个内核,例如,使用计算引擎作为底层VM的应用程序引擎灵活运行时允许您配置可用的内核数量