PySpark 上的 MyPy 错误："DataFrameLike" 没有属性"values"

Question

我正在PySpark 3.2.1中开发一个程序。

Mypy == 0.950

其中一个操作需要将一个小DataFrame的信息转换成一个列表。

代码为

result = df.select("col1","col2","col3").toPandas().values.tolist()

我需要将其转换为列表，因为我然后广播信息，pyspark广播不能是DataFrame

对于这段代码，我得到以下mypy错误:

error: "DataFrameLike" has no attribute "values"

我可以做些什么来避免mymyy错误?

Answer 1

这对我来说很好。

>>> df=spark.read.option('header','true').csv("C:/Users/pc/Desktop/myfile.txt")
>>> df
DataFrame[col1: string, col2: string, col3: string]
>>> result = df.select("col1","col2","col3").toPandas().values.tolist()
>>> result
[['1', '100', '1001'], ['2', '200', '2002'], ['3', '300', '1421'], ['4', '400', '24214'], ['5', '500', '14141']]

我在这儿干什么?