我可以在Spark集群中使用常规ML库(例如Tensorflow或sci-kit-relearn(运行普通python代码吗?如果是,spark可以在集群中分配我的数据和计算吗?如果没有,为什么?
Spark使用RDD(弹性分布式数据集(在工人或奴隶之间分配工作,我认为如果不大幅调整代码以适应Spark规范,您就无法在python中使用现有代码,对于tensorflow,有许多选项可以在多个gpu上分配计算。
我可以在Spark集群中使用常规ML库(例如Tensorflow或sci-kit-relearn(运行普通python代码吗?如果是,spark可以在集群中分配我的数据和计算吗?如果没有,为什么?
Spark使用RDD(弹性分布式数据集(在工人或奴隶之间分配工作,我认为如果不大幅调整代码以适应Spark规范,您就无法在python中使用现有代码,对于tensorflow,有许多选项可以在多个gpu上分配计算。
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium