在与Cassandra相同的节点上启用火花

Question

我正在尝试测试Spark，以便总结一下Cassandra中的一些数据。我已经完成了所有数据安装教程，他们对您如何启用Spark非常模糊。我唯一能发现的迹象是，当您在安装过程中选择"分析"节点时会自动启用。但是，我有一个现有的Cassandra节点，我不想使用其他机器进行测试，因为我只是在评估笔记本电脑上的所有内容。

是否可以在同一节点上启用火花并处理任何性能含义？如果是这样，我该如何启用它才能进行测试？

我看到那里的文件夹（尽管我不是正面的所有文件），但是当我检查它是否设置为Spark Master时，它说没有Spark节点已启用。

dsetool sparkmaster

我正在使用Linux Ubuntu Mint。

我只是在寻找一种快速而肮脏的方法来获取我的数据，等等，因为这是大量数据，但我想避免付费托管多台机器（至少在测试时）。

Answer 1

是的，即使不是在所有节点上，火花也能够与群集交互。

软件包安装

Edit the /etc/default/dse file, and then edit the appropriate line 
to this file, depending on the type of node you want:
...
Spark nodes:
SPARK_ENABLED=1
HADOOP_ENABLED=0
SOLR_ENABLED=0

然后重新启动DSE服务

http://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/reference/reference/refdseserv.html

焦油安装

在节点上停止DSE，并使用以下命令

重新启动它

From the install directory:
...
Spark only node: $ bin/dse cassandra -k - Starts Spark trackers on a cluster of Analytics nodes.

http://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/reference/reference/refdsestandalone.html

Answer 2

通过更改 spark_enabled = 1 来启用火花使用命令：sudo nano /usr/share/dse/resources/dse/conf/dse.default