当我尝试在pyspark数据框架上使用featuretools[spark]时代码如下:
import featuretools as ft
import pyspark.pandas as ps
from woodwork.logical_types import Double, Integer
ps.set_option("compute.default_index_type", "distributed")
id = [0, 1, 2, 3, 4]
values = [12, -35, 14, 103, -51]
spark_df = ps.DataFrame({"id": id, "values": values})
es = ft.EntitySet(id="spark_es")
es = es.add_dataframe(
dataframe_name="spark_input_df",
dataframe=spark_df,
index="id",
logical_types={"id": Integer, "values": Double},
)
es
bug得到一个错误AttributeError: 'DataFrame'对象没有属性'w '">
有人能帮我吗?
我只是在"https://featuretools.alteryx.com/en/stable/guides/using_spark_entitysets.html"上运行官方代码帖子
您提供的代码适合我。
lib版本:
- Featuretools: 1.21.0
- Pyspark: 3.3.0.dev0
导入pyspark。