Foundry中是否有可以自动填充列描述的工具?如果是，它叫什么

Question

我们正在寻找Foundry平台中是否有一个工具可以让我们拥有一个字段描述列表，当数据集构建时，它可以自动填充这些描述。这是否存在？如果存在，该工具的名称是什么？

Answer 1

如果您将代码库升级到1.184.0+版本，则此版本将从此发布并可用。

用于推送输出列描述的方法是为TransformOutput.write_dataframe()提供一个新的可选参数，即column_descriptions。

此参数应为具有列名键和列描述值的dict(出于稳定性原因，长度最多为200个字符(。

该代码将自动计算pyspark.sql.DataFrame上可用的列名与您提供的dict中的键的交集，因此它不会试图对不存在的列进行描述。

您用于运行此过程的代码如下所示：

from transforms.api import transform, Input, Output

@transform(
my_output=Output("/my/output"),
my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
my_output.write_dataframe(
my_input.dataframe(),
column_descriptions={
"col_1": "col 1 description"
}
)