我正在按照本教程在我的aws免费层帐户上测试apache spark。然而，它创建了2个新实例(1x主实例和1x从实例)，这意味着我将无法运行我的机器整整一个月…
问题:是否有一种方法可以在一台机器上安装apache spark ?
谢谢
如果你只是在测试Spark，你实际上不需要"安装" Spark。我在以本地模式运行的本地VM中进行所有Spark开发，但是您可以通过以下步骤在AWS中完成相同的事情:
- 下载Spark: http://spark.apache.org/downloads.html我通常会选择"为Hadoop 2.6及更高版本预构建的"(别担心，你不需要Hadoop)
- scp tar到您的机器，解压缩到/opt或/usr/share
- 就是这样!
可以运行spark shell:
/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-shell
您可以在本地模式下运行打包的spark应用程序:
/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-submit --master local[*] --class com.example.project.class project-1.0.jar
可以启动Spark:
/opt/spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh
点击8080端口的Spark UI
解决方法很简单…按照说明将apache spark设置为独立服务器link