代码库-pyspark中用于代码回购的CTX究竟是什么

Question

我在代码回购中看到了ctx的使用，这到底是什么？这是一个内置的图书馆吗？我什么时候用？

我在以下例子中看到了它：

df = ctx.spark.createdataframe(...

Answer 1

对于代码存储库转换，您可以选择包含一个参数ctx，该参数使您能够更多地访问运行作业的底层基础设施。通常，您将访问ctx.spark_session属性，以便从Python对象中创建自己的pyspark.sql.Dataframe对象，例如：

from transforms.api import transform_df, Output
from pyspark.sql import types as T
@transform_df(
Output=("/my/output")
)
def my_compute_function(ctx):
schema = T.StructType(
[
T.StructField("name", T.StringType(), True)
]
)
return ctx.spark_session.createDataFrame([["Alex"]], schema=schema)

您可以在transforms.api.TransformContext类的文档中找到完整的API描述，其中spark_session和parameters等属性可供您阅读。

注意：spark_session属性的类型为pyspark.sql.SparkSession