我有一个使用joblib并行运行程序的python脚本,它运行得很好(在本地机器上消耗100%的cpu(。
最近,我将python脚本迁移到azure上的数据科学虚拟机(DSVM(,但发现多处理逻辑不起作用(cpu消耗保持在平均5%的低水平(。
有人知道azure虚拟机是否支持并行化吗?如果是,我应该使用什么python包?"joblib"当前正在使用。
如果没有,你可以建议在azure虚拟机上进行并行化的替代方案吗?
提前感谢您,保持健康!!!
谨致问候,开尔文
您的本地计算机操作系统是什么(Windows、Linux、发行版、版本(?测试是在真实硬件中运行还是在虚拟硬件中运行?什么虚拟化技术(Hyper-V、vmware等(?Azure提供的虚拟化应该与真正的硬件相匹配,所以我会首先查看操作系统和与并行化相关的依赖关系,即进程或线程库等。我不支持Python,但我认为应该有一种方法来识别是什么阻碍了一个进程或线程启动另一个进程,这是一种瓶颈。知道这一点应该会朝着正确的方向解决问题。Cesar