如何在Foundry中使用transform_df添加列描述

Question

通常，我可以用transform添加一个列描述，如下所示：

from transforms.api import Input, Output, transform
from utils import COLUMN_DESCRIPTIONS

@transform(
output=Output("/Shared/output"),
raw=Input("/Shared/raw_input")
)
def clean_table(raw, output):
raw = raw.dataframe()
output.write_dataframe(
raw,
column_descriptions=COLUMN_DESCRIPTIONS
)

我可以用transform_df做类似的事情吗？

Answer 1

不幸的是，目前无法使用transform_df输出列描述，因此必须使用transform装饰器。这是因为transform_df返回一个本机Spark DataFrame，它不支持列描述。

有关列描述的更多信息，请参阅Palantir关于列元数据的文档。