java.lang.ClassNotFoundException: com.microsoft.azure.storag

Question

我正在尝试通过 pyspark 读取 azure blob 存储上的表，即使我在 pyspark 中添加了以下 jar --jars，也会引发以下异常。

azure-storage-2.0.0.jar
hadoop-azure-2.7.0.jar

例外：

py4j.protocol.Py4JJavaError: An error occurred while calling o38.showString.
: java.lang.NoClassDefFoundError: com/microsoft/azure/storage/blob/BlobListingDetails
Caused by: java.lang.ClassNotFoundException: com.microsoft.azure.storage.blob.BlobListingDetails

知道需要添加哪个特定的 jar 来解决问题并在 Spark 中读取 azure 表吗？

Answer 1

我的建议如下。

1. 请下载最新版本的 Azure Storage Java Client 和 Hadoop Azure Support 的 jar 文件，而不是旧版本。
2. 检查这些 jar 的路径是否已添加到 conf/spark-env 文件中的 SPARK_CLASSPATH 环境变量中，或者可以通过代码SparkContext.addJar("Path to jar created from maven [hint: mvn package]")以编程方式添加 jar 路径。

希望对您有所帮助。