Databricks Spark Cassandra connectivity throwing exception:

Question

我已经在Azure虚拟机中安装了Cassandra DB，并希望通过Azure Databricks执行读/写操作。我正在浏览数据砖官方文档，这对我的配置没有帮助。
我在下面分享我的代码暨配置详细信息：

%sh
ping -c 2 vmname.westeurope.cloudapp.azure.com

收到的答复：

PING vmname.westeurope.cloudapp.azure.com (13.69.10.10): 56 data bytes
--- vmname.westeurope.cloudapp.azure.com ping statistics ---
2 packets transmitted, 0 packets received, 100% packet loss

// define the cluster name and cassandra host name
val sparkClusterName = "adbazewdobucluster"
val cassandraHostIP = "vmname.westeurope.cloudapp.azure.com"
dbutils.fs.put(s"/databricks/init/$sparkClusterName/cassandra.sh",
s"""
#!/usr/bin/bash
echo '[driver]."spark.cassandra.connection.host" = "$cassandraHostIP"' >> /home/ubuntu/databricks/common/conf/cassandra.conf
""".trim, true)
// setting IP of the Cassandra server
spark.conf.set("spark.cassandra.connection.host", "127.0.0.1")
//verify sparkconf is set properly
spark.conf.get("spark.cassandra.connection.host")

在 Spark 中应用所有配置后，我正在尝试从驻留在 Cassandra DB 中的表中检索记录，这引发了异常。

val df = sqlContext
.read
.format("org.apache.spark.sql.cassandra")
.options(Map( "table" -> "words_new", "keyspace" -> "test"))
.load
df.explain

例外：

com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (tried: /127.0.0.1:9042 (com.datastax.driver.core.exceptions.TransportException: [/127.0.0.1:9042] Cannot connect))

我已经检查了我的Cassandra DB正在运行，读/写操作直接工作正常。
所以我的问题是：我是否以正确的方式应用配置？如果不是这样，那么我如何从Databricks笔记本访问Cassandra。
我正在使用 Scala 作为 Spark 框架，我的集群和驱动程序版本如下：

Databricks Runtime Version
6.2 (includes Apache Spark 2.4.4, Scala 2.11)
spark-cassandra-connector
com.datastax.spark:spark-cassandra-connector_2.11:2.4.1
cassandra version: 3.11.4

Answer 1

如果你在 Azure 上运行.. 请确保将broadcast_rpc_address设置为公共 IP 地址或 DNS 主机名，这些设置必须适合你 -

将 rpc 地址设置为附加到 VM 的网络接口的 IP 地址。在 Windows - Hyper V 接口上。

rpc_address: <**private ip** of your vm > 

将 RPC 地址广播到公共 IP，在此 IP 上，外部客户端应从端口 9042 上的 Cassandra 获得响应

broadcast_rpc_address: <**public ip** or hostname.westeurope.cloudapp.azure.com>

默认侦听地址为本地主机/127.0.0.1

listen_address: **localhost**

Answer 2

根据您发布的输出，您正在获得NoHostAvailableException，因为您正在连接到无法访问localhost。这是因为您已在此处将 C* 主机设置为localhost：

spark.conf.set("spark.cassandra.connection.host", "127.0.0.1")

您需要将其设置为以下值：

val cassandraHostIP = "vmname.westeurope.cloudapp.azure.com"

干杯！