将来自 BigQuery 的可为空数据馈送到 Tensorflow Transform

Question

我们正在尝试构建一个管道，从BigQuery获取数据，通过TensorFlow Transform运行，然后在TensorFlow中训练。

管道已启动并正在运行，但我们在 BigQuery 中使用空值时遇到困难。

我们使用 Beam 从 BigQuery 加载：

raw_data = (pipeline
| '{}_read_from_bq'.format(step) >> beam.io.Read(
beam.io.BigQuerySource(query=source_query,
use_standard_sql=True,
)))

我正在使用数据集元数据，尝试FixedLenFeature和VarLenFeature各种列：

# Categorical feature schema
categorical_features = {
column_name: tf.io.FixedLenFeature([], tf.string) for column_name in categorical_columns
}
raw_data_schema.update(categorical_features)
# Numerical feature schema
numerical_features = {
column_name: tf.io.VarLenFeature(tf.float32) for column_name in numerical_columns
}
raw_data_schema.update(numerical_features)
# Create dataset_metadata given raw_data_schema
raw_metadata = dataset_metadata.DatasetMetadata(
schema_utils.schema_from_feature_spec(raw_data_schema))

正如预期的那样，如果您尝试将 BigQuery NULL 输入到FixedLenFeature中，它会中断。

但是，当我尝试将字符串或整数输入VarLenFeature时，它也会中断。这似乎是因为VarLenFeature需要一个列表，但BigQuerySource给出了一个Python原语。它中断的确切点在这里(错误来自我尝试使用整数时(：

File "/usr/local/lib/python3.7/site-packages/tensorflow_transform/impl_helper.py", line 157, in <listcomp>
indices = [range(len(value)) for value in values]
TypeError: object of type 'int' has no len()
[while running 'train_transform/AnalyzeDataset/ApplySavedModel[Phase0]/ApplySavedModel/ApplySavedModel']

当我尝试使用字符串输入(例如"UK"(使用 VarLenFeature 时，输出是这样的 SparseTensor：

SparseTensorValue(indices=[(0, 0), (0, 1)], values=['U', 'K'], dense_shape=(1, 2))

因此，似乎我需要将列表传递到VarLenFeature中才能正常工作，但是默认情况下BigQuerySource不会这样做。

有没有简单的方法来实现这一点？还是我完全错过了从 BigQuery 读取可为空列的标记？

提前非常感谢！

Answer 1

您可能需要自己处理 NULL(缺失(值。对于数值列，您可以将 NULL 替换为平均值或中位数。对于分类列 (STRING(，可以使用一些默认值(如空 STRING 或新值(作为缺失值指示符。

我对VarLenFeature不是很熟悉，但你可能可以在source_query中替换NULL(NULL inputation(。像这样：

IFNULL(col， col_mean( AS col_imputed

缺点是您必须首先使用 sql 计算col_mean并将其填充为常量。另一件事是你需要记住这个平均值，并在预测中应用相同的平均值，因为它不是tf.transform(你的图(的一部分。

Bigquery本身将BQML作为ML平台。它们确实支持转换和自动插补。也许你也可以看看:)