PySpark2.x:以编程方式将MavenJAR坐标添加到Spark中

Question

下面是我的PySpark启动片段，它非常可靠(我已经使用它很长时间了)。今天，我添加了spark.jars.packages选项中显示的两个Maven Coordinates(在Kafka支持中有效地"插入")。现在，它通常会触发依赖项下载(由Spark自动执行)：

import sys, os, multiprocessing
from pyspark.sql import DataFrame, DataFrameStatFunctions, DataFrameNaFunctions
from pyspark.conf import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import functions as sFn
from pyspark.sql.types import *
from pyspark.sql.types import Row
# ------------------------------------------
# Note: Row() in .../pyspark/sql/types.py
# isn't included in '__all__' list(), so
# we must import it by name here.
# ------------------------------------------

num_cpus = multiprocessing.cpu_count()        # Number of CPUs for SPARK Local mode.
os.environ.pop('SPARK_MASTER_HOST', None)     # Since we're using pip/pySpark these three ENVs
os.environ.pop('SPARK_MASTER_POST', None)     # aren't needed; and we ensure pySpark doesn't
os.environ.pop('SPARK_HOME',        None)     # get confused by them, should they be set.
os.environ.pop('PYTHONSTARTUP',     None)     # Just in case pySpark 2.x attempts to read this.
os.environ['PYSPARK_PYTHON'] = sys.executable # Make SPARK Workers use same Python as Master.
os.environ['JAVA_HOME'] = '/usr/lib/jvm/jre'  # Oracle JAVA for our pip/python3/pySpark 2.4 (CDH's JRE won't work).
JARS_IVY_REPO = '/home/jdoe/SPARK.JARS.REPO.d/'
# ======================================================================
# Maven Coordinates for JARs (and their dependencies) needed to plug
# extra functionality into Spark 2.x (e.g. Kafka SQL and Streaming)
# A one-time internet connection is necessary for Spark to autimatically
# download JARs specified by the coordinates (and dependencies).
# ======================================================================
spark_jars_packages = ','.join(['org.apache.spark:spark-streaming-kafka-0-10_2.11:2.4.0',
'org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0',])
# ======================================================================
spark_conf = SparkConf()
spark_conf.setAll([('spark.master', 'local[{}]'.format(num_cpus)),
('spark.app.name', 'myApp'),
('spark.submit.deployMode', 'client'),
('spark.ui.showConsoleProgress', 'true'),
('spark.eventLog.enabled', 'false'),
('spark.logConf', 'false'),
('spark.jars.repositories', 'file:/' + JARS_IVY_REPO),
('spark.jars.ivy', JARS_IVY_REPO),
('spark.jars.packages', spark_jars_packages), ])
spark_sesn            = SparkSession.builder.config(conf = spark_conf).getOrCreate()
spark_ctxt            = spark_sesn.sparkContext
spark_reader          = spark_sesn.read
spark_streamReader    = spark_sesn.readStream
spark_ctxt.setLogLevel("WARN")

然而，当我运行代码片段(例如./python -i init_spark.py)时，插件并没有像它们应该的那样下载和/或加载。

这个机制曾经工作过，但后来停止了。我错过了什么？

提前谢谢！

Answer 1

这是一篇题比答案更有价值的文章，因为上面的代码很有效，但在Spark 2.x文档或示例中找不到。

以上是我如何通过MavenCoordinates以编程方式向Spark2.x添加功能的。我让它工作，但后来它停止了工作。为什么？

当我在jupyter notebook中运行上述代码时，笔记本在幕后已经通过我的PYTHONSTARTUP脚本运行了相同的代码片段。该PYTHONSTARTUP脚本具有与上面相同的代码，但省略了maven坐标(出于意图)。

那么，这个微妙的问题是如何出现的：

spark_sesn = SparkSession.builder.config(conf = spark_conf).getOrCreate()

因为Spark会话已经存在，所以上面的语句只是重用了那个没有加载jars/库的现有会话(.getOrCreate())(同样，因为我的PYTHONSTARTUP脚本有意省略了它们)。这就是为什么将print语句放在PYTHONSTARTUP脚本中是个好主意(在其他方面是静默的)。

最后，我只是忘记了在启动JupyterLab / Notebook守护进程之前执行以下操作：$ unset PYTHONSTARTUP。

我希望这个问题能帮助其他人，因为这就是如何以编程方式向Spark2.x(在本例中为Kafka)添加功能。请注意，您需要一个互联网连接，以便从Maven Central一次性下载指定的jar和递归依赖项。