检查列是否具有正确的十进制数

Question

我有一个数据帧（input_dataframe），如下所示：

id        test_column
1           0.25
2           1.1
3           12
4           test
5           1.3334
6           .11

我想添加一个列结果，如果test_column有十进制值，则值为 1，如果test_column有任何其他值，则输入值 0。 test_column的数据类型为字符串。下面是预期的输出：

id        test_column      result
1           0.25              1
2           1.1               1
3           12                0
4           test              0
5           1.3334            1
6           .11               1

我们可以使用 pySpark 代码来实现它吗？

Answer 1

您可以使用decimal.Decimal()解析十进制标记

在这里，我们将代码绑定在 UDF 中，然后使用 df.withColumn

import decimal
from pyspark.sql.types import IntType
def is_valid_decimal(s):
    try:
        # return (0 if decimal.Decimal(val) == int(decimal.Decimal(val)) else 1)            
        return (0 if decimal.Decimal(val)._isinteger() else 1)
    except decimal.InvalidOperation:
        return 0
# register the UDF for usage
sqlContext.udf.register("is_valid_decimal", is_valid_decimal, IntType())
# Using the UDF
df.withColumn("result", is_valid_decimal("test_column"))