我最近在我的 5 节点集群中安装了 DataStax Enterprise (v5.0)。我计划使用 3 个节点作为 Spark,2 个节点作为 cassandra 多节点集群。
现在,每当我尝试在我的火花节点中开始火花时——
我收到以下错误 -
须藤DSE火花线程"main"java.io.IOException中的异常:无法在{127.0.0.1}:9042打开与Cassandra的本机连接 at com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala:160)
为什么火花会寻找卡桑德拉?没有卡桑德拉在DSE中就没有办法开始火花吗?
另外,我应该更改DSE中的哪些conf文件,以便spark连接到在另一个节点上运行的cassandra(而不是在127.0.0.1:9042本地运行的节点)
您目前 (5.0) 无法在没有 Cassandra 的情况下启动 DSE 节点。但仅仅因为你必须启动Cassandra并不意味着你必须使用它。只要确保您始终使用网络拓扑策略,DSE 将仅在这些计算机上使用 C* 来获取八卦和架构信息。
也为了一个注释 dse spark
只是启动火花壳。它不会启动 Spark Master 和 Worker 基础结构。