当我输入命令行:
时pyspark-包装图形框架:GraphFrames:0.2.0-Spark2.0-S_2.11
它会很好地工作。但是,当我想使用ipython启动我的pyspark并使用GraphFrames软件包时,它不起作用。
当我输入命令行:
pyspark_driver_python = ipython pyspark-包装graphframes:GraphFrames:0.2.0-Spark2.0-S_2.11
错误是:找不到模块'GraphFrames'
缺乏python 3的火花包兼容性是graphframes
0.2.0中已知的错误,已在0.3.0中解决。
--packages graphframes:graphframes:0.3.0-spark2.0-s_2.11