使用没有火花依赖性的mllib 2

Question

由于mllib在引擎盖下使用微风，是否有一种方法可以将mllib与微风数据结构一起使用，这样我就不需要整个火花生态系统，但仍然只能在本地使用MLLIB？

Answer 1

您不能做到这一点。即使可以拉动依赖关系，也不能没有火花核心使用Spark-Mllib。

尽管如此，如果您想以独立的方式从mllib运行算法，则需要在独立的模式下安装Spark。在这种情况下，无需真正的群集，但是解决方案显然不会扩展。

Answer 2

完全同意@eliasah

您甚至可以在IDE项目设置中运行MLLIB。我有一个gradle项目可以运行mllib-

dependencies {
    implementation 'org.scala-lang:scala-library:2.11.12'
    compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.4'
    compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.4.4'
    compile group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.4.4'
    runtime group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.4'
    runtime group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.4.4'
    runtime group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.4.4'
}