Pyspark运行Spark 2.0的定制定制介绍者

Question

我想知道如何在pyspark中指定Spark版本2 的自定义分配器类。在1.6以下，我知道我可以这样做：

sc = SparkContext('local', 'test', profiler_cls='MyProfiler')

但是当我在2.0中创建SparkSession时，我无法明确访问SparkContext。有人可以建议如何使用Spark 2.0 ？

Answer 1

SparkSession可以用现有的SparkContext初始化，例如：

from pyspark import SparkContext
from pyspark.sql import SparkSession
from pyspark.profiler import BasicProfiler
spark = SparkSession(SparkContext('local', 'test', profiler_cls=BasicProfiler))