from pyspark.sql.snappy import SnappyContext - ImportError:

Question

即使在重新安装pyspark和snappydata之后，每当我尝试从下面的代码导入pyspark.sql.snappy导入SnappyContext时：

from pyspark.sql.snappy import SnappyContext
from pyspark.storagelevel import StorageLevel
SparkContext._ensure_initialized()
spark = SparkSession.builder.appName("test")  
                        .master("local[*]") 
                        .config("spark.snappydata.connection", "localhost:1527") 
                        .getOrCreate() 
snappy = SnappySession(spark)
snappy.sql("SELECT col1, min(col2) from TABLE1")

我收到错误：

Traceback (most recent call last):
  File "testpy.py", line 4, in <module>
    from pyspark.sql.snappy import SnappyContext
ImportError: No module named snappy

请帮忙！

Answer 1

这是上次发布的版本中的已知问题。此问题已在最新的主版本中修复。$SNAPPY_HOME/bin/pyspark 是指 $SNAPPY_HOME/pyspark 文件夹中的 python 脚本。不幸的是，一些构建更改停止复制文件夹中的SnappyData python脚本。您可以构建当前主节点以使用 pyspark。